用戶可以正常訪問一些內(nèi)容質(zhì)量高的網(wǎng)頁,但百度pider無法正常訪問和抓取,導致搜索結(jié)果覆蓋率不足,給百度搜索引擎和網(wǎng)站帶來損失。百度稱這種情況為“搶占例外”。
百度搜索引擎會考慮大量內(nèi)容無法正常獲取的網(wǎng)站在用戶體驗上的缺陷,減少對網(wǎng)站的評價。在抓取、索引和排名方面,百度搜索引擎會受到一定程度的負面影響,最終影響百度網(wǎng)站獲得的流量。
以下描述了站長異常抓取的一些常見原因:
服務器連接異常有兩種情況:(1)網(wǎng)站不穩(wěn)定,百度spider暫時無法連接到您網(wǎng)站的服務器;(2)百度spider無法連接到您網(wǎng)站的服務器。
1、服務器連接異常的原因通常是您的網(wǎng)站服務器太大和過載。您的網(wǎng)站也可能運行異常。請檢查網(wǎng)站web服務器(如Apache、IIS)使用瀏覽器檢查主頁是否使用瀏覽器檢查主頁是否可以正常訪問。您的網(wǎng)站和主機也可能被阻止Baiduspider訪問。您需要檢查網(wǎng)站和主機的防火墻。
2、網(wǎng)絡運營商例外:網(wǎng)絡運營商分為電信和聯(lián)通兩類。spider無法通過電信或網(wǎng)絡訪問您的網(wǎng)站。如果發(fā)生這種情況,您需要聯(lián)系網(wǎng)絡服務提供商,或購買空間和二線服務或CDN服務。
3、DNS異常:當Baiduspider無法分析你的網(wǎng)站IP會出現(xiàn)地址DNS異常??赡苁悄憔W(wǎng)站的。IP地址錯誤,或域名服務提供商已被禁止Baiduspider。請使用whois或host檢查你的網(wǎng)站IP地址是否正確且可分析。如果沒有,請聯(lián)系域名注冊商更新您的信息IP地址。
4、IP阻塞:IP阻塞限制了網(wǎng)絡的導出IP禁止地址IP段用戶訪問內(nèi)容。這里具體指百度piderip屏蔽。這個設置只在你的網(wǎng)站上,不希望百度pider只需要訪問。如果你想讓百度pider訪問您的網(wǎng)站,請檢查百度spiderIP是否錯誤地添加到相關(guān)設置中。您的網(wǎng)站所在的空間服務提供商也可能禁止百度IP。此時,您需要聯(lián)系服務提供商以更改設置。
5、UA阻塞:UA是用戶代理。服務器通過UA識別訪問者的身份。當網(wǎng)站訪問指定的UA并返回一個異常頁面(如403500)或跳轉(zhuǎn)到另一個頁面,稱為UA阻塞。這個設置只是你不想要的Baiduspider只有在訪問您的網(wǎng)站時才需要它。若要百度訪問您的網(wǎng)站,是否有百度在用戶代理相關(guān)設置中及時修改。
百度蜘蛛抓異常問題
6、死鏈:頁面無效,無法向用戶提供任何有價值信息的頁面為死鏈,包括協(xié)議死鏈和內(nèi)容死鏈。
協(xié)議死鏈:頁面TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示死鏈,如404、403、503等。
內(nèi)容鏈:服務器返回狀態(tài)正常,但內(nèi)容已更改為不存在、刪除或需要權(quán)限的信息頁面,與原始內(nèi)容無關(guān)。
對于死鏈,我們建議網(wǎng)站使用協(xié)議死鏈,通過百度網(wǎng)站管理員平臺死鏈工具提交給百度,使百度能夠更快地找到死鏈,減少死鏈對用戶和搜索引擎的負面影響。
7、異常跳轉(zhuǎn):跳轉(zhuǎn)是將網(wǎng)絡請求重新定位到另一個位置。異常跳轉(zhuǎn)是指以下情況:
1)當前頁面為無效頁面(內(nèi)容已刪除、死鏈等),直接跳轉(zhuǎn)到上一個目錄或主頁,百度建議站長刪除無效頁面入口超鏈接
注:如果長時間跳轉(zhuǎn)到其他域名,如果域名在網(wǎng)站上更改,百度建議設置301跳轉(zhuǎn)協(xié)議。
其他網(wǎng)站異常原因:
1)百度推薦人的例外情況:網(wǎng)頁返回不同于百度推薦人的正常內(nèi)容。
2)對于百度UA例外:返回百度UA網(wǎng)頁行為不同于頁面的原始內(nèi)容。
3)JS跳轉(zhuǎn)異常:網(wǎng)頁加載了百度無法識別的JS用戶通過搜索結(jié)果進入網(wǎng)頁后跳轉(zhuǎn)代碼。
4)壓力過大造成的事故障礙:百度將根據(jù)網(wǎng)站規(guī)模、訪問量等信息自動設置合理的壓力。但在壓力控制異常等異常情況下,服務器將根據(jù)自己的負載保護事故鎖。在這種情況下,請在返回代碼中返回503(即不可用的服務),以便百度spider試著在一段時間內(nèi)再次獲取鏈接。若該網(wǎng)站處于空閑狀態(tài),則將成功獲取該網(wǎng)站。