一般情況下，做seo人員對(duì)百度搜索引擎蜘蛛實(shí)現(xiàn)網(wǎng)站抓取規(guī)則，應(yīng)該了解，實(shí)際上百度蜘蛛抓取，是通過(guò)程序頁(yè)面訪問(wèn)請(qǐng)求，服務(wù)器返回頁(yè)面代碼，蜘蛛抓取頁(yè)面代碼，索引倉(cāng)庫(kù)，根據(jù)網(wǎng)站重量和質(zhì)量，搜索引擎將抓取不同頻率的網(wǎng)站。

由于互聯(lián)網(wǎng)的數(shù)據(jù)量非常大，與許多鏈接相關(guān)，但在這個(gè)過(guò)程中，頁(yè)面鏈接可能會(huì)由于各種原因進(jìn)行重定向。在這個(gè)過(guò)程中，百度蜘蛛需要url重定向識(shí)別，做網(wǎng)站線的基本標(biāo)準(zhǔn)是滿足百度蜘蛛能夠全面抓取網(wǎng)站的需求。蜘蛛的簡(jiǎn)單策略是深度抓取和廣度抓?。?/p>

1、了解蜘蛛深度抓取和廣度抓取的含義

蜘蛛深度抓取

蜘蛛發(fā)現(xiàn)一個(gè)鏈接在爬行過(guò)程中向前爬行，直到深層不能再爬行，然后返回第一個(gè)爬行頁(yè)面，然后爬行下一個(gè)鏈接。就像從網(wǎng)站的主頁(yè)爬到網(wǎng)站的專欄頁(yè)面，然后通過(guò)專欄頁(yè)面爬到內(nèi)容頁(yè)面，然后跳出主頁(yè)爬到第二個(gè)網(wǎng)站。

蜘蛛廣度抓取

當(dāng)蜘蛛爬行一個(gè)頁(yè)面時(shí)，有多個(gè)鏈接，而不是深入捕獲一個(gè)鏈接。例如，蜘蛛進(jìn)入網(wǎng)站主頁(yè)后，可以有效地爬行所有列頁(yè)面，然后爬行所有列頁(yè)面下的二級(jí)列或內(nèi)容頁(yè)面，即層層爬行，而不是一個(gè)接一個(gè)地爬行。

因此，欄目的層次關(guān)系是對(duì)的seo優(yōu)化仍然有至關(guān)重要的影響。無(wú)論是深度優(yōu)先還是廣度優(yōu)先，網(wǎng)站抓取都應(yīng)盡量減少鏈接命名的復(fù)雜性和不必要的層次關(guān)系，有效減少百度蜘蛛的不必要抓取。畢竟，對(duì)于百度蜘蛛來(lái)說(shuō)，時(shí)間和寬帶資源并不是無(wú)限的，這樣蜘蛛就可以在更短的時(shí)間內(nèi)抓取所有的網(wǎng)站，這對(duì)網(wǎng)站收集和網(wǎng)站排名起著至關(guān)重要的作用。畢竟，蜘蛛抓取每個(gè)網(wǎng)站的能力有限，但為了考慮更多的網(wǎng)站和內(nèi)部頁(yè)面，一般搜索引擎將廣度抓取和深度抓取混合使用。當(dāng)然，抓取的頻率和深度也將考慮頁(yè)面質(zhì)量、網(wǎng)站規(guī)模、外部鏈條、更新頻率、網(wǎng)站權(quán)重等諸多因素。

注：上圖是百度蜘蛛抓取策略的深度抓取和廣度抓取策略

為什么網(wǎng)站網(wǎng)站的質(zhì)量有多高，總有一些頁(yè)面不包括或顯示？簡(jiǎn)而言之，百度蜘蛛不能充分照顧每個(gè)網(wǎng)站的每個(gè)頁(yè)面，所以SEO就價(jià)值而言，為了提高網(wǎng)站的收錄，沒(méi)有必要使用有風(fēng)險(xiǎn)的蜘蛛池來(lái)吸引蜘蛛。通過(guò)對(duì)網(wǎng)站框架的理解和對(duì)頁(yè)面的分析，也是提高網(wǎng)站收錄的手段之一。當(dāng)然，提高網(wǎng)站權(quán)重也可以帶動(dòng)百度蜘蛛深入抓取網(wǎng)站。

二、外鏈對(duì)網(wǎng)站的作用

很多人說(shuō)要做seo外鏈有助于網(wǎng)站排水，所以對(duì)SEO更明顯的意義是引導(dǎo)百度蜘蛛通過(guò)外部鏈接深入抓取頁(yè)面，引入網(wǎng)站內(nèi)部鏈接爬行頁(yè)面。當(dāng)然，并不是所有的外部鏈都能起到這樣的作用。對(duì)于高質(zhì)量的導(dǎo)入鏈接，很容易實(shí)現(xiàn)頁(yè)面導(dǎo)出鏈接的爬行加深，提高網(wǎng)站的抓取概率。

其次，對(duì)網(wǎng)站排名做一個(gè)簡(jiǎn)單的分析，都知道網(wǎng)站的權(quán)重主頁(yè)，權(quán)重傳遞從上到下，從左到右，也表明百度Spider主頁(yè)的抓取頻率是肯定的。頁(yè)面位置離主頁(yè)越近，頁(yè)面權(quán)重就會(huì)高于其他頁(yè)面，被抓取的概論也會(huì)增加。SEO對(duì)于重要的欄目和關(guān)鍵詞，盡可能優(yōu)先抓取位置，可以促進(jìn)網(wǎng)站的基本排名。當(dāng)然，不可忽視的問(wèn)題是網(wǎng)站更新的頻率，這不會(huì)做更多的解釋。

總之，從百度蜘蛛的抓取原理來(lái)看，很容易發(fā)現(xiàn)，除了框架布局，高質(zhì)量的頁(yè)面也可以帶動(dòng)網(wǎng)站的收錄。seo優(yōu)化人員，可以適當(dāng)早呢更加內(nèi)鏈，促進(jìn)網(wǎng)站內(nèi)循環(huán)，增加頁(yè)面的權(quán)重，從而帶動(dòng)蜘蛛的抓取頻率。