百度支持nofollow、noarchive兩種種meta標簽。
要防止所有搜索引擎顯示您網(wǎng)站的快照,請將此元標記置入網(wǎng)頁(yè)的<HEAD> 部分:
<meta name="robots" content="noarchive">
如果您不想搜索引擎追蹤此網(wǎng)頁(yè)上的鏈接,且不傳遞鏈接的權重,請將此元標記置入:
<meta name="robots" content="nofollow">
Baiduspider對站點(diǎn)的抓取方式和普通用戶(hù)訪(fǎng)問(wèn)一樣,只要普通用戶(hù)能訪(fǎng)問(wèn)到的內容,我們就能抓取到。不管是用什么技術(shù),只要能保證用戶(hù)能流暢的訪(fǎng)問(wèn)網(wǎng)站,對搜索引擎就沒(méi)有影響。
我們建議盡量選擇有實(shí)力的服務(wù)商和成熟的技術(shù),不成熟的技術(shù)容易導致訪(fǎng)問(wèn)不穩定,這就有可能影響搜索引擎的抓取了。
百度對海外站點(diǎn)沒(méi)有歧視。但Baiduspider服務(wù)器在國內,國內普通用戶(hù)訪(fǎng)問(wèn)受限的內容,Baiduspider一樣會(huì )搞不定,只要國內能正常訪(fǎng)問(wèn),我們就會(huì )一視同仁。
如果是內容發(fā)生根本性變化,則理論上會(huì )被視為一個(gè)全新網(wǎng)站,舊有超鏈失效。
搜索引擎策略會(huì )對已收錄的站點(diǎn)站點(diǎn)綜合表現進(jìn)行自動(dòng)評價(jià),對符合一定標準的站點(diǎn),會(huì )自動(dòng)提取網(wǎng)站中的favicon作為展現logo。同時(shí),這個(gè)機制是自動(dòng)運行,定期更新的,沒(méi)有人工干預的接口。
百度從未提供過(guò)網(wǎng)站權重信息數據以及對外查詢(xún)服務(wù)。第三方站長(cháng)工具的數據并非百度官方數據,不代表真實(shí)的網(wǎng)站情況,百度對使用此類(lèi)數據而造成的困擾不負任何責任。請網(wǎng)站管理員不要將這些“百度權重”數值當成真實(shí)數值來(lái)參考使用。
中文互聯(lián)網(wǎng)上,Baiduspider ip的hostname以 *.baidu.com的格式命名,非 *.baidu.com即為冒充,建議您使用DNS反查方式來(lái)確定抓取來(lái)源的ip是否屬于百度。
例如,在linux平臺下,您可以使用host ip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.
在windows平臺下,可以用nslookup命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。
點(diǎn)擊“開(kāi)始”-“運行”-“cmd”-“輸入nslookup IP地址”-“回車(chē)”
C:\Documents and Settings\wangtao>nslookup 123.125.66.120
Name: baiduspider-123-125-66-120.crawl.baidu.com
Address: 123.125.66.120