1、抓取

　　網(wǎng)站的頁(yè)面有沒(méi)有被搜索引擎收錄，首先要看一下網(wǎng)站的蜘蛛訪(fǎng)問(wèn)日志，看一下蜘蛛有沒(méi)有來(lái)，如果蜘蛛都沒(méi)有抓取，那是不可能被收錄的。蜘蛛訪(fǎng)問(wèn)網(wǎng)站的日志可以從網(wǎng)站的IIS日志里面看到，如果搜索引擎蜘蛛沒(méi)有來(lái)呢?那么就主動(dòng)向搜索引擎提交，搜索引擎會(huì )派出蜘蛛來(lái)抓取網(wǎng)站，這樣網(wǎng)站才有可能被盡快收錄。

　　如果你不會(huì )分析網(wǎng)站的日志也沒(méi)有關(guān)系，這里推薦愛(ài)站SEO工具包，將網(wǎng)站的日志導入到這個(gè)工具之后，就能看到日志的分析，你能從中得到很到信息。

　　廣度優(yōu)先抓�。簭V度優(yōu)先抓取是按照網(wǎng)站的樹(shù)形結構，對一個(gè)的層進(jìn)行的抓取，如果此層沒(méi)有抓取完成，蜘蛛不會(huì )進(jìn)行下一層的搜索。(關(guān)于網(wǎng)站的樹(shù)形結構，會(huì )在后續的日志中進(jìn)行說(shuō)明，在沒(méi)有發(fā)布文章之后，在此會(huì )添加連接)

　　深度優(yōu)先抓�。荷疃葍�(yōu)先抓取是按照網(wǎng)站的樹(shù)形結構。按照一個(gè)連接，一直抓取下去，知道這一個(gè)連接沒(méi)有再往下的鏈接為止，深度優(yōu)先抓取又叫縱向抓取。

　　(注意：廣度優(yōu)先抓取，適用于所有情況下的搜索，但是深度優(yōu)先抓取不一定能適用于所有情況。因為一個(gè)有解的問(wèn)題樹(shù)可能含有無(wú)窮分枝，深度優(yōu)先抓取如果誤入無(wú)窮分枝(即深度無(wú)限)，則不可能找到目標結束點(diǎn)。所以，深度優(yōu)先抓取策略很多時(shí)候是不會(huì )被使用的，廣度優(yōu)先的抓取更加的保險。)

　　廣度優(yōu)先抓取適用范圍：在未知樹(shù)深度情況下，用這種算法很保險和安全。在樹(shù)體系相對小不龐大的時(shí)候，廣度優(yōu)先也會(huì )更好些。

　　深度優(yōu)先抓取適用范圍：剛才說(shuō)了深度優(yōu)先抓取有自己的缺陷，但是并不代表深度優(yōu)先抓取沒(méi)有自己的價(jià)值。在樹(shù)型結構深度已知情況下，并且樹(shù)體系相當龐大時(shí)，深度優(yōu)先搜索往往會(huì )比廣度優(yōu)先搜索優(yōu)秀。

　　2、過(guò)濾

　　網(wǎng)站的頁(yè)面被抓取了并不代表一定會(huì )被收錄。蜘蛛來(lái)抓取了之后，會(huì )把數據帶回去，放到臨時(shí)的數據庫中，再進(jìn)行過(guò)濾，過(guò)濾掉一些垃圾的內容或者是低質(zhì)量的內容。

　　你頁(yè)面的信息如果是采集，在互聯(lián)網(wǎng)上有大量的相同信息，搜索引擎就很有可能不為你的網(wǎng)頁(yè)建立索引。有時(shí)候我們自己寫(xiě)的文章也不會(huì )被收錄，因為原創(chuàng )的不一定就是高質(zhì)量的。關(guān)于文章質(zhì)量的高低，我會(huì )在以后的文章中單獨拿出一篇來(lái)和大家詳細討論。

　　過(guò)濾這一過(guò)程就是一個(gè)去掉糟粕的過(guò)程，如果你的網(wǎng)站的頁(yè)面順利通過(guò)了過(guò)濾這一過(guò)程，說(shuō)明頁(yè)面的內容達到了搜索引擎設定的標準，頁(yè)面會(huì )就會(huì )進(jìn)入建立索引和輸出結果這一步。

　　3、建立索引與輸出結果

　　這里，我們把建立索引和輸出結果合在一起進(jìn)行說(shuō)明。

　　通過(guò)一系列的過(guò)程之后，符合收錄的頁(yè)面之后會(huì )建立索引，建立索引之后就是輸出結果，也就是我們在搜索關(guān)鍵詞后，搜索引擎展示給我們的結果。

　　當用戶(hù)在搜索關(guān)鍵詞時(shí)搜索引擎就會(huì )輸出結果，輸出的結果是有順序排列的。這些結果排序是根據一系列復雜的算法來(lái)排定的。比如：頁(yè)面的外鏈，頁(yè)面與關(guān)鍵詞的匹配度，頁(yè)面的多媒體屬性等。

　　在輸出的結果中，還有一些結果是通過(guò)抓取之后直接可以輸出的，沒(méi)有經(jīng)過(guò)中間復雜的過(guò)濾和建立索引等過(guò)程。什么樣的內容和什么樣的情況下才會(huì )發(fā)生的呢?那就是具有很強的時(shí)效性的內容，比如新聞類(lèi)的。比如今天發(fā)生了一件特大事件，各大門(mén)戶(hù)和新聞源快速發(fā)出了關(guān)于事件的新聞，搜索引擎會(huì )迅速對重大新聞事件作出反應，快速收錄相關(guān)的內容。

　　百度對于新聞的抓取速度是很快的，對重大事件的反應也比較及時(shí)。但是這里還有一個(gè)問(wèn)題就是，這些發(fā)布的新聞如果有低質(zhì)量的頁(yè)面會(huì )怎么辦?搜索引擎會(huì )在輸出結果之后，仍然對這一部分新聞內容進(jìn)行過(guò)濾，如果頁(yè)面內容與新聞標題不符，質(zhì)量過(guò)低，那么低質(zhì)量的頁(yè)面還是會(huì )被搜索引擎過(guò)濾掉。

　　在輸出結果的時(shí)候，搜索引擎會(huì )多多少少會(huì )對搜索結果進(jìn)行人工干預，其中以百度為最嚴重，在百度很多關(guān)鍵詞的自然搜索結果中被加入了百度太多自家的產(chǎn)品，而且很多是沒(méi)有考慮用戶(hù)體驗的，這也是百度被大家詬病的原因之一，有興趣的朋友可以百度一個(gè)詞看一下搜索結果，是不是百度自家的產(chǎn)品占據了太多的首頁(yè)位置。