配置介紹：

config．setMaxDepthOfCrawling（int maxDepthOfCrawling）：抓取深度限制，默認抓取深度不受限制（設定值為－1也不受限制）。如種子頁面為A，A鏈接到B，B鏈接到C，C鏈接到D。種子頁面A的深度為0，B的深度為1，以此類推。如果設定值為2，就不會抓取到D鏈接的內(nèi)容。

config．setPolitenessDelay（int politenessDelay）：每次請求前等待毫秒數(shù)，默認不等待。可以防止抓取請求過快而被服務器端認為是非法請求而終止訪問的情況。

可以通過如下代碼設定代理設置：

crawlConfig．setProxyHost（＂proxyserver．example．com＂）；

crawlConfig．setProxyPort（8080）；

如果代理需要認證：

crawlConfig．setProxyUsername（username）；

crawlConfig．getProxyPassword（password）；

解析器

代碼解釋：

shouldVisit（）：用來實現(xiàn)滿足抓取數(shù)據(jù)的條件，如滿足抓取條件則返回true，返回false代表不滿足條件則放棄本次抓取。

visit（）： 抓取返回的響應結(jié)果，此示例中通過Jsoup來解析響應內(nèi)容。Jsoup的代碼解析語法遵循JavaScript規(guī)范要求，對熟悉JavaScript的開發(fā)者使用起來比較方便易懂。

標簽定位：HTML標簽定位可以通過瀏覽器控制臺的方式進行查看。

資源庫：

本示例中通過Java標準輸出流來替代資源庫的實現(xiàn)部分，未單獨實現(xiàn)資源庫的代碼。從輸出結(jié)果可以看出項目設定10個線程同時抓取滿足條件的第一級深度的博客文章共計21篇。

規(guī)避反爬蟲技術

在實際項目抓取的過程中應該滿足君子協(xié)議即不違背robots．txt定義的抓取協(xié)議。同時爬蟲項目的開發(fā)中可能會遇被抓取的WEB網(wǎng)站對訪問頻繁程度的限制，異步Ajax動態(tài)渲染數(shù)據(jù)等�？梢詤⒖既缦路椒ń鉀Q：

通過設定動態(tài)IP代理的方式，每抓取幾次之后動態(tài)更換IP地址，讓服務器端判斷每次IP來源不同；

通過設定抓取前休眠時間來降低抓取頻度；

分析動態(tài)Ajax請求，結(jié)合Jsoup進行單獨的URL請求，獲取異步請求數(shù)據(jù)響應內(nèi)容；

通過Selenium等相關自動化測試工具，模擬真實的瀏覽器請求獲取Ajax異步請求渲染之后的數(shù)據(jù)；

通過設定Header中的值，來規(guī)避相關請求參數(shù)的限制。