爬蟲抓取j網站資料

[爬蟲實戰] 如何透過Selenium 自動將頁面捲動至最下方抓取資料?

http://ccckmit.wikidot.com/code:crawler

Crawler 是搜尋引擎中的關鍵技術，在本文中我們實作了一個簡單的 Crawler ，並以 10 個 thread 平行抓取網頁以加快抓取的速度，這個程式可以用來作為個人抓取網頁個工具程式，作為建立搜尋引擎的基礎。