&;nbsp;&;nbsp;&;nbsp;1、網(wǎng)站例外原因:
&;nbsp;&;nbsp;&;nbsp;1.DNS例外
&;nbsp;&;nbsp;&;nbsp;當(dāng)百度蜘蛛無(wú)法解析你網(wǎng)站的IP時(shí),就會(huì)出現(xiàn)DNS異常。也許你的網(wǎng)站IP地址錯(cuò)了,或者域名服務(wù)提供商禁止了百度pider。您可以使用whois或主機(jī)來(lái)檢查您的網(wǎng)站IP地址是否正確,是否可以解析。如果不正確或無(wú)法解決,請(qǐng)聯(lián)系域名注冊(cè)機(jī)構(gòu)以更新網(wǎng)站IP地址
&;nbsp;&;nbsp;&;nbsp;2.連接超時(shí)
&;nbsp;&;nbsp;&;nbsp;抓取請(qǐng)求的連接超時(shí)可能是由服務(wù)器過(guò)載或網(wǎng)絡(luò)不穩(wěn)定引起的;nbsp;&;nbsp;&;nbsp;3.爬網(wǎng)超時(shí)
&;nbsp;&;nbsp;&;nbsp;抓取請(qǐng)求連接建立后,頁(yè)面的下載速度太慢,導(dǎo)致超時(shí)。可能的原因:服務(wù)器過(guò)載和帶寬不足
&;nbsp;&;nbsp;&;nbsp;4.連接錯(cuò)誤
&;nbsp;&;nbsp;&;nbsp;建立連接后無(wú)法連接或被其他服務(wù)器拒絕
&;nbsp;&;nbsp;&;nbsp;2、鏈接異常原因:
&;nbsp;&;nbsp;&;nbsp;1.訪問(wèn)被拒絕
&;nbsp;&;nbsp;&;nbsp;爬蟲(chóng)啟動(dòng)爬蟲(chóng),httpcode返回碼為403
&;nbsp;&;nbsp;&;nbsp;2.未找到頁(yè)面
&;nbsp;&;nbsp;&;nbsp;爬蟲(chóng)啟動(dòng)爬蟲(chóng),httpcode返回碼為404
&;nbsp;&;nbsp;&;nbsp;3.服務(wù)器錯(cuò)誤
&;nbsp;&;nbsp;&;nbsp;爬蟲(chóng)程序啟動(dòng)爬蟲(chóng),httpcode返回代碼為5xx
&;nbsp;&;nbsp;&;nbsp;4.其他錯(cuò)誤
&;nbsp;&;nbsp;&;nbsp;爬蟲(chóng)開(kāi)始爬行。httpcode返回碼為4xx,不包括403和404
&;nbsp;&;nbsp;&;nbsp;3、網(wǎng)站獲取異常的原因是什么;nbsp;&;nbsp;&;nbsp;網(wǎng)站抓取異常有五個(gè)主要原因:;nbsp;&;nbsp;&;nbsp;1.服務(wù)器異常
&;nbsp;&;nbsp;&;nbsp;服務(wù)器連接異常的最大可能性是網(wǎng)站服務(wù)器太大且過(guò)載。通過(guò)進(jìn)入瀏覽器檢查您的域名是否被正常訪問(wèn)。服務(wù)器異常將導(dǎo)致爬行器無(wú)法連接到網(wǎng)站服務(wù)器,導(dǎo)致爬行失敗
&;nbsp;&;nbsp;&;nbsp;2.域名過(guò)期
&;nbsp;&;nbsp;&;nbsp;如果域名過(guò)期,網(wǎng)站將無(wú)法訪問(wèn),域名解析將失敗。如果出現(xiàn)這種情況,你可以聯(lián)系你的域名注冊(cè)商,看看它是否已經(jīng)注冊(cè)或可以續(xù)簽;nbsp;&;nbsp;&;nbsp;3.網(wǎng)絡(luò)運(yùn)營(yíng)商例外
&;nbsp;&;nbsp;&;nbsp;電信和聯(lián)通是屬于網(wǎng)絡(luò)運(yùn)營(yíng)商的網(wǎng)站,蜘蛛無(wú)法訪問(wèn)。如果問(wèn)題是由中國(guó)電信或中國(guó)聯(lián)通的網(wǎng)絡(luò)運(yùn)營(yíng)商引起的,請(qǐng)聯(lián)系網(wǎng)絡(luò)服務(wù)運(yùn)營(yíng)商或購(gòu)買(mǎi)CDN服務(wù);nbsp;&;nbsp;&;nbsp;4、機(jī)器人。Txt文件設(shè)置問(wèn)題
&;nbsp;&;nbsp;&;nbsp;機(jī)器人。TXT的主要功能是屏蔽一些不重要的文件,并告訴搜索引擎這些頁(yè)面無(wú)法抓取,但也可能存在問(wèn)題。屏蔽重要頁(yè)面。您可以檢查robots文件設(shè)置。