一：圖片和模板目錄都可以進(jìn)行屏蔽

　　因為目前很多站長(cháng)都是在互聯(lián)網(wǎng)上找相同的圖片和套用現成的模板，這些模板和圖片已經(jīng)在互聯(lián)網(wǎng)泛濫了，此時(shí)你還讓你的網(wǎng)站被蜘蛛再次爬行這些老掉牙的東西，自然會(huì )讓蜘蛛非常的反感，從而讓你的網(wǎng)站貼上模仿作弊的標簽，想要獲得搜索引擎的青睞反而是更加困難，所以IMAGES目錄通�？梢云帘�!

　　二：緩存目錄可以屏蔽，防止重復索引

　　蜘蛛是非常貪婪的，只要你給他喂食，它是不管真實(shí)還是虛幻都照單全收，比如網(wǎng)站的緩存目錄里面的內容，蜘蛛也會(huì )照樣來(lái)進(jìn)行索引，這勢必和網(wǎng)站里面的內容出現了重復，如果出現重復的數量過(guò)多，那么百度的算法機制就會(huì )認為你的網(wǎng)站在作弊，從而甚至提升你網(wǎng)站的權重，給網(wǎng)站帶來(lái)極大的影響，通常每種建站程序的緩存目錄是不一樣的，要根據不同的建站程序來(lái)屏蔽相應的緩存目錄是很有必要的!

　　三：CSS目錄及部分RSS頁(yè)需要屏蔽

　　CSS目錄對于蜘蛛而言是完全無(wú)用的，抓取后反而會(huì )影響搜索引擎算法的判斷，所以可以通過(guò)ROBOTS.TXT文件來(lái)進(jìn)行屏蔽，另外很多建站程序的RSS頁(yè)也是一種內容的重復，抓取后也會(huì )造成搜索引擎的誤判斷，這兩個(gè)方面的內容都需要屏蔽!這種屏蔽看起來(lái)是對蜘蛛的大不敬，實(shí)際上卻如良藥苦口利于病!忠言逆耳利于行!

　　四：如果有雙頁(yè)面，那么優(yōu)先屏蔽動(dòng)態(tài)頁(yè)面

　　一般而言，網(wǎng)站的靜態(tài)頁(yè)面是很容易被搜索引擎收錄，通常蜘蛛抓取和收錄是兩回事，網(wǎng)站除了靜態(tài)頁(yè)面之外，大部分網(wǎng)站還存在著(zhù)動(dòng)態(tài)的頁(yè)面，比如“www.XXXX/1.html與www.xxxxx/asp?id=1這兩個(gè)指的是同一個(gè)頁(yè)面，如果不進(jìn)行屏蔽的話(huà)，勢必造成兩個(gè)頁(yè)面同時(shí)被蜘蛛抓取，可是到了搜索引擎算法判斷的時(shí)候，因為發(fā)現了兩個(gè)一樣的頁(yè)面，就會(huì )認為你網(wǎng)站存在作弊的嫌疑，所以加大對你網(wǎng)站的考察力度，從而影響到網(wǎng)站的排名，所以正確的做法是優(yōu)先屏蔽網(wǎng)站的動(dòng)態(tài)頁(yè)面!

　　五：涉及網(wǎng)站安全隱私的內容要屏蔽

　　本文的開(kāi)頭提到了ADMIN和DATA目錄實(shí)際上是有關(guān)網(wǎng)站安全隱私的內容，暴露給蜘蛛是沒(méi)有絲毫好處的，甚至還可能會(huì )多一份被攻擊的渠道，所以涉及到有關(guān)安全的目錄，比如數據庫目錄，網(wǎng)站日志目錄以及備份目錄都需要進(jìn)行屏蔽，另外有些站長(cháng)在網(wǎng)站備份后，再進(jìn)行下載，可是下載過(guò)后有不注意對備份文件的刪除，這也是很容易導致蜘蛛重復抓取，也容易導致被黑客攻擊，所以利用ROBOTS.TXT文件來(lái)屏蔽類(lèi)似”RAR和ZIP”文件也是非常有必要的!最起碼能夠增強網(wǎng)站的安全性!