網頁監看功能拼裝
監看特定網頁雖然不像ai一樣,需要大量的爬蟲抓取大量的資料,再重新整理成結構性的資料以便分析取用,但是至少要爬一個網頁,要抓其中有料的訊息,再重組成所需的訊息,甚至結合多個特定的網頁組成看板,總之多監看一個網頁,整個流程至少得做一次工。
工作環境:
Windows
Firefox + Auto Reload Tab, Refresh and monitor, Distill Web monitor
PHP + simple html dom
AutoHotKey: 重整頁籤 reload tab + 存檔 Save File
如果只是要監看多個網頁,用眼球法的話,iframe + 鷹眼就行,耐何,現在只剩白眼了,而且看螢幕霧霧的,一個不小心,就漏了 orz。
為何會出現 AutoHotKey 呢?因為又踩坑了 :p ,怎麼看個網頁也能踩坑?想要自動從一堆廢物裏面只看須要的訊息,就得濾掉一狗票的廢話,有關注的訊息時再列出來而且要給個音樂。奈何從沒認真實做爬蟲過,自已的資料都從資料庫撈的,自然就用不著爬蟲了,遇上了要帳密又要圖形認證的網頁就卡住了,進入後又因為不是開放權限的遠端,無法直接抓資料,正面打不過,繞道偷打總行吧!登入後把網頁存成檔案,還管得著怎麼處置網頁裏的一堆廢話嗎?定期更新網頁(AHK/插件),定期存檔(AHK),再定期處理存檔內容(插件),辨識出需要的元素時就放音樂(插件),可行,用了好多塊拼圖,不夠直覺,完全一個大雜匯。
只不過是想看網頁裏出現了什麼東東,應該還有(再)更(花)簡(時)單(間)的(找)方法吧,找了 n 久,爬了 n 個文,試裝了 n 個插件,終於試出了倚天和屠龍,因為好用 Firefox ,使用其他瀏覽器的,請自已找類似的插件吧,Refresh and monitor 算是比較直覺的插件,可以監看多個關鍵字,但是好像不能監看多個網站/頁籤,網頁出現關鍵字的話可以發出警示聲。
是使用 Distill Web Monitor 可以設定得比較細,可以監看多個網頁,可以指定監看網頁的區塊,可以指定監看的關鍵字,可以指定再次比對新舊網頁的時間差,關鍵字出現之後當然也會發出警示音,可惜聲音小又短,功能算是完整,目前免費。
現在很多網站都不給爬,很多插件開始收費了,先撐著吧。
收工!
留言
張貼留言