第一:孤島網(wǎng)頁(yè)是很難被搜索引擎抓取,孤島網(wǎng)頁(yè)指的是沒(méi)有任何反向鏈接的網(wǎng)頁(yè),如果新站沒(méi)有任何被收錄的網(wǎng)站的鏈接指向新站,那么該新站實(shí)際上是互聯(lián)網(wǎng)的一個(gè)孤島,搜索引擎無(wú)從發(fā)現該網(wǎng)站的存在。
第二:該網(wǎng)站的服務(wù)器IP曾經(jīng)被懲罰
這是一個(gè)很重要的方面,這是因為如果該IP下的網(wǎng)站多次作弊,導致該服務(wù)器IP被懲罰,那么,百度很可能不再爬出爬蟲(chóng)來(lái)爬行這個(gè)服務(wù)器IP,那么,建立在該服務(wù)器IP下的網(wǎng)站就再也沒(méi)有見(jiàn)天日的機會(huì )。
第三:服務(wù)器不穩定,或者經(jīng)不起爬蟲(chóng)采集的壓力
對于新站來(lái)說(shuō)這是致命的,很容易導致蜘蛛放棄了該新站,不再進(jìn)行爬行收錄。
第四:網(wǎng)站中的網(wǎng)頁(yè)性質(zhì)及文件類(lèi)型是搜索引擎無(wú)法識別的
很多人為了網(wǎng)站的美觀(guān)好看,采用了大量的如flash、JS跳轉、某些動(dòng)態(tài)網(wǎng)頁(yè)、frame等,這些東西導致搜索引擎無(wú)法識別,自然也不再收錄。
第五:網(wǎng)站用robots協(xié)議拒絕搜索引擎抓取
有時(shí)候因為站長(cháng)的粗心,設置了錯誤的robots協(xié)議,從而拒絕了搜索引擎的抓取。
第六:作弊和非法的網(wǎng)頁(yè)
使用關(guān)鍵詞作弊,網(wǎng)頁(yè)的關(guān)鍵詞和內容嚴重不匹配,或者非法內容的網(wǎng)頁(yè);網(wǎng)頁(yè)的標題沒(méi)有實(shí)際含義的網(wǎng)站等等,也是搜索引擎拒絕的對象。