對頁(yè)面抓取異常的原因及分析

1，效勞器銜接反常
效勞器銜接反常會(huì )有兩種狀況：一種是站點(diǎn)不穩定，Baiduspider測驗銜接您網(wǎng)站的效勞器時(shí)呈現暫時(shí)無(wú)法銜接的狀況;一種是Baiduspider一向無(wú)法銜接上您網(wǎng)站的效勞器。

形成效勞器銜接反常的因素通常是您的網(wǎng)站效勞器過(guò)大，超負荷運轉。也有也許是您的網(wǎng)站運轉不正常，請查看網(wǎng)站的web效勞器(如apache、iis)是不是裝置且正常運轉，并運用瀏覽器查看首要頁(yè)面能否正常拜訪(fǎng)。您的網(wǎng)站和主機還也許阻撓了Baiduspider的拜訪(fǎng)，您需求查看網(wǎng)站和主機的防火墻。

2，網(wǎng)絡(luò )運營(yíng)商反常：網(wǎng)絡(luò )運營(yíng)商分電信和聯(lián)通兩種，Baiduspider經(jīng)過(guò)電信或網(wǎng)通無(wú)法拜訪(fǎng)您的網(wǎng)站。假如呈現這種狀況，您需求與網(wǎng)絡(luò )效勞運營(yíng)商進(jìn)行聯(lián)絡(luò )，或許采購具有雙線(xiàn)效勞的空間或許采購cdn效勞。

3，DNS反常：當Baiduspider無(wú)法解析您網(wǎng)站的IP時(shí)，會(huì )呈現DNS反常。也許是您的網(wǎng)站IP地址過(guò)錯，或許域名效勞商把Baiduspider封禁。請運用WHOIS或許host查詢(xún)自己網(wǎng)站IP地址是不是準確且可解析，假如不準確或無(wú)法解析，請與域名注冊商聯(lián)絡(luò )，更新您的IP地址。

4，IP封禁：IP封禁為：限制網(wǎng)絡(luò )的出口IP地址，制止該IP段的運用者進(jìn)行內容拜訪(fǎng)，在這里特指封禁了BaiduspiderIP。當您的網(wǎng)站不期望Baiduspider拜訪(fǎng)時(shí)，才需求該設置，假如您期望Baiduspider拜訪(fǎng)您的網(wǎng)站，請查看有關(guān)設置中是不是誤添加了BaiduspiderIP。也有也許是您網(wǎng)站地點(diǎn)的空間效勞商把baiduIP進(jìn)行了封禁，這時(shí)您需求聯(lián)絡(luò )效勞商更改設置。

5，UA封禁：UA即為用戶(hù)署理(User-Agent)，效勞器經(jīng)過(guò)UA辨認拜訪(fǎng)者的身份。當網(wǎng)站關(guān)于指定UA的拜訪(fǎng)，回來(lái)反常頁(yè)面(如403，500)或跳轉到別的頁(yè)面的狀況，即為UA封禁。當您的網(wǎng)站不期望Baiduspider拜訪(fǎng)時(shí)，才需求該設置，假如您期望Baiduspider拜訪(fǎng)您的網(wǎng)站，useragent有關(guān)的設置中是不是有Baiduspider UA，并及時(shí)修正。

6，死鏈：頁(yè)面現已無(wú)效，無(wú)法對用戶(hù)供給任何有價(jià)值信息的頁(yè)面即是死連接，包含協(xié)議死鏈和內容死鏈兩種形式:

協(xié)議死鏈：頁(yè)面的TCP協(xié)議狀況/HTTP協(xié)議狀況清晰表明的死鏈，多見(jiàn)的如404、403、503狀況等。

內容死鏈：效勞器回來(lái)狀況是正常的，但內容現已變更為不存在、已刪去或需求權限等與原內容無(wú)關(guān)的信息頁(yè)面。
關(guān)于死鏈，我們主張站點(diǎn)運用協(xié)議死鏈，并經(jīng)過(guò)baidu站長(cháng)平臺–死鏈東西向baidu提交，以便baidu更快地發(fā)現死鏈，削減死鏈對用戶(hù)以及查找引擎形成的負面影響。

7，反常跳轉：將網(wǎng)絡(luò )懇求重新指向別的方位即為跳轉。反常跳轉指的是以下幾種狀況：
1)當前該頁(yè)面為無(wú)效頁(yè)面(內容已刪去、死鏈等)，直接跳轉到前一目錄或許主頁(yè)，baidu主張站長(cháng)將該無(wú)效頁(yè)面的進(jìn)口超連接刪去掉
2)跳轉到犯錯或許無(wú)效頁(yè)面
留意：關(guān)于長(cháng)期跳轉到別的域名的狀況，如網(wǎng)站替換域名，baidu主張運用301跳轉協(xié)議進(jìn)行設置。

8，別的反常：
1)關(guān)于baidurefer的反常：頁(yè)面關(guān)于來(lái)自baidu的refer回來(lái)不同于正常內容的做法。
2)關(guān)于baiduua的反常：頁(yè)面對baiduUA回來(lái)不同于頁(yè)面原內容的做法。
3)JS跳轉反常：頁(yè)面加載了baidu無(wú)法辨認的JS跳轉代碼，使得用戶(hù)經(jīng)過(guò)查找成果進(jìn)入頁(yè)面后發(fā)生了跳轉的狀況。
4)壓力過(guò)大導致的偶爾封禁：baidu會(huì )依據站點(diǎn)的規劃、拜訪(fǎng)量等信息，自動(dòng)設定一個(gè)合理的抓取壓力。但是在反常狀況下，如壓力操控異常時(shí)，效勞器會(huì )依據自身負荷進(jìn)行保護性的偶爾封禁。這種狀況下，請在回來(lái)碼中回來(lái)503(其意義是“Service Unavailable”)，這樣Baiduspider會(huì )過(guò)段時(shí)間再來(lái)測驗抓取這個(gè)連接，假如網(wǎng)站已閑暇，則會(huì )被成功抓取。