我是剛剛接觸站內優(yōu)化的，因為之前一直是做站外優(yōu)化的，所以對站內優(yōu)化還不是很了解，今天主要跟打擊分享的是站內優(yōu)化過(guò)程中很多人會(huì )忽視的三個(gè)方面，即：sitemap、404頁(yè)面、robots.txt。很多站長(cháng)在做站內優(yōu)化的時(shí)候很容易忽視這三個(gè)方面，覺(jué)得sitemap、404頁(yè)面、robots.txt沒(méi)有什么優(yōu)化的必要，只要網(wǎng)站上有就行了。其實(shí)完全不是這樣的，很多新站收錄慢，或者根本不被收錄;老站排名上不去，很大的原因就是因為沒(méi)有做好這三方面的優(yōu)化。如果把這三個(gè)方面的優(yōu)化做好你會(huì )發(fā)現蜘蛛對你的網(wǎng)站的友好度會(huì )大大提升。

　　sitemap又稱(chēng)網(wǎng)站地圖。

　　在專(zhuān)業(yè)術(shù)語(yǔ)上，sitemap就是一個(gè)頁(yè)面，上面放置了網(wǎng)站上所有頁(yè)面的鏈接，一個(gè)網(wǎng)站所有鏈接的容器，根據網(wǎng)站的結構、框架、內容，生成的導航網(wǎng)頁(yè)文件。大多數人在網(wǎng)站上找不到自己所需要的信息時(shí)，可能會(huì )將網(wǎng)站地圖作為一種補救措施，蜘蛛非常喜歡網(wǎng)站地圖。

　　為什么要講網(wǎng)站地圖呢，把蜘蛛比作是一個(gè)人，當你到一個(gè)陌生的城市時(shí)，第一個(gè)想到的應該是去買(mǎi)一張這個(gè)城市的地圖，不然很容易迷路的。同樣的道理蜘蛛爬行你的網(wǎng)站時(shí)要是有一張地圖引導他，他就不會(huì )迷路，而且要是你的地圖結構合理且連續性強的話(huà)，蜘蛛就會(huì )長(cháng)時(shí)間停留在你的網(wǎng)站上。做一個(gè)很形象的比喻，我們在買(mǎi)到一張地圖時(shí)，如果他上面的路標、地名標示的不是很明顯，或者說(shuō)是很清晰，我們上哪去找我們要到達的地方呢。還有就是你的地圖很混亂，道路與道路之間沒(méi)有一定的延續性也會(huì )導致迷路的。所以我們的網(wǎng)站地圖優(yōu)化需要我們在做站內鏈接的時(shí)候要有一定的合理延續性，當你從一個(gè)頁(yè)面鏈接到另一個(gè)頁(yè)面是一定要有一定的相關(guān)性，不然很容易引起蜘蛛的反感的，網(wǎng)站的URL地址就跟地圖的路標一樣一定要標明的很明確，不要用一些不懂得或者跟頁(yè)面不相關(guān)的字母。不然蜘蛛在爬取你的網(wǎng)站時(shí)很難讀懂你網(wǎng)站網(wǎng)頁(yè)的具體內容的。

　　404頁(yè)面

　　404是W3C規定的HTTP狀態(tài)碼中的一種。是WWW網(wǎng)站訪(fǎng)問(wèn)比較經(jīng)常出現的錯誤。告訴瀏覽者其所請求的頁(yè)面不存在或鏈接錯誤，同時(shí)引導用戶(hù)使用網(wǎng)站其他頁(yè)面而不是關(guān)閉窗口離開(kāi)，這種專(zhuān)業(yè)的官方解釋。通俗點(diǎn)將404頁(yè)面就是一個(gè)網(wǎng)站內的報錯頁(yè)面，當我們輸入你的網(wǎng)站網(wǎng)址出現錯誤時(shí)，就會(huì )直接跳轉到404頁(yè)面，404頁(yè)面會(huì )引導用戶(hù)返回到網(wǎng)站的首頁(yè)或者其他用戶(hù)比較關(guān)注的頁(yè)面。這就需要我們在制作404頁(yè)面時(shí)要給用戶(hù)或者蜘蛛做一個(gè)很好的引導作用，引導用戶(hù)回到你網(wǎng)站的首頁(yè)或者其他頁(yè)面，要是你的404頁(yè)面什么都沒(méi)有的話(huà)，蜘蛛或者用戶(hù)訪(fǎng)問(wèn)到你這個(gè)頁(yè)面找不到任何的信息就會(huì )直接關(guān)閉，這樣的用戶(hù)體驗是很不好的。我們可以從下圖的一個(gè)404頁(yè)面看出來(lái)，這個(gè)網(wǎng)站的404頁(yè)面有一個(gè)返回首頁(yè)跟免費咨詢(xún)這兩個(gè)返回鏈接，這樣的404頁(yè)面優(yōu)化就已經(jīng)算是不錯的了，我們出錯了可以回到首頁(yè)尋找我們想要找的信息。

　　Robots.txt

　　在搜索引擎訪(fǎng)問(wèn)網(wǎng)站的時(shí)候，Robots.txt是第一個(gè)要被查看的文件，Robots.txt會(huì )告訴網(wǎng)絡(luò )蜘蛛程序在服務(wù)器上什么文件是可以被查看的。在進(jìn)行SEO網(wǎng)站優(yōu)化的時(shí)候，通過(guò)Robots.txt把一些內容不想讓蜘蛛抓取，比如js等后臺程序文件 進(jìn)行攔截，如果沒(méi)有Robots.txt，蜘蛛會(huì )抓取你網(wǎng)站上所有的文件，這樣的話(huà)你網(wǎng)站內部一些蜘蛛不喜歡的文件也會(huì )被抓取到，這樣會(huì )讓蜘蛛對你的網(wǎng)站產(chǎn)生很?chē)乐?的排斥心理，會(huì )大大降低網(wǎng)站的搜索引擎抓取效率!所以，我們一定要記得設置Robots.txt，不僅要設置，特別是一些JS跳轉的文件，一定不要讓那個(gè)蜘蛛抓取。一些網(wǎng)站是可以注冊的，我們也要把注冊信息屏蔽掉，你想你那么多的注冊信息讓蜘蛛抓取的話(huà)，一點(diǎn)實(shí)用的信息都沒(méi)有，這也是不利于網(wǎng)站的優(yōu)化的。包括網(wǎng)站內部的登陸頁(yè)面、評論頁(yè)面之類(lèi)的，因為這些頁(yè)面每個(gè)頁(yè)面都存在，這樣蜘蛛抓取的話(huà)會(huì )主導很多的重復頁(yè)面的，也是不利于網(wǎng)站的排名的。