蜘蛛的爬行往往決定著網站的收錄，因此在平時的優化工作 中，我們都會比較關注iis日志，通過觀察日志來獲取蜘蛛爬行網站的動態，並通過分析蜘蛛動態來監測網站優化的進度。但是很多時候站長都會看到自己的 iis日志顯示蜘蛛的爬行十分不順暢，盡管自認爲網站優化做的很完美。這其中包含著哪些原因呢？

事出必有因，蜘蛛只是一個機器人，它由程序代碼構成，必須遵循其規定去爬行網站，如果網站存在一些網站陷阱，則會讓蜘蛛爬行變得不順暢，從而引致一系列的問題。到底哪些網站陷阱成爲了蜘蛛爬行的絆腳石？下面筆者就來簡單談談吧。

【陷阱一】：網站地圖不正確

網站地圖是一個非常有用的網站工具，對于用戶和蜘蛛來說，一副完整、正確的網站地圖都能很好地識別整個網站的架構，從而更好地浏覽和爬行網站。由于一些站 長對于代碼的不熟悉，以及對網站的架構不熟悉，就隨便選了一個權威性不好的工具來制作了一副不完整或不正確的網站地圖，最後的結果就是讓蜘蛛爬行時陷入其 中，最終“迷路”了。

##解決方法：選擇一個權威性好的工具來制作網站地圖，比如站長工具、百度站長平台工具等，如果自己對網站比較熟悉，最好能夠自己手工制作，並親身多次測試，保證好網站地圖的正確性和完整性。

【陷阱二】：網站的死鏈接數量巨大

所謂的死鏈接就是就是返回代碼爲404的錯誤頁面鏈接，這類鏈接通常産生于網站改版後、或者網站更換域名後。死鏈接的存在對于用戶體驗和蜘蛛爬行來說都是 非常不好的。死鏈接無疑就是阻擋著蜘蛛的爬行，當蜘蛛接二連三地碰到這些不該出現的死鏈接時，就會産生對網站的不信任，最終會放棄爬行網站。

##解決辦法：

（1)提交死鏈接。利用百度站長平台的“死鏈提交”工具來提交網站死鏈，具體說明請參考百度站長工具。

（2）對死鏈接進行重定向或者刪除，如果死鏈接的位置不是很重要，可以把其重定向到首頁，如果位置比較重要，數量也比較多，就可以選擇刪除死鏈接，可以使用工具來刪除。

【陷阱三】：網址包含參數過多

谷歌機器人一樣收錄動態參數網站，但是靜態化url的網站永遠要比動態化url收錄更有優勢。因此，如果你的網站像下面的網址一樣，那就可能會導致蜘蛛爬行不順暢了：

##解決辦法：在選擇做站程序前，一定要考慮該程序是否支持網站url靜態化，並且在日後維護中也要注意網站url是否真正做到靜態化，盡量舍棄包含參數的動態網址的做法。

【陷阱四】：網站過多錨文本

網站錨文本過多，造成內鏈鏈輪。外部鏈輪相信大家都會認識，但是其實內部鏈接也是可以産生鏈輪的。很多站長爲了提升關鍵詞排名，不惜使用過多的錨文本，然後造成頁面之間的鏈接輪回效應，最後也讓蜘蛛走進了無底洞，無法走出來了。

##解決辦法：清除過往的，帶有鏈接交叉性的錨文本，並且盡量做到需要時才添加錨文本，濫用錨文本只會讓谷歌蜘蛛更一步不認可你的網站。

谷歌搜尋引擎蜘蛛永遠只是一個程序機器人，它的智力永遠比不上我們，但是我們還是應該尊重它，爲它提供一個爬行順暢的網站環境，這樣才能確保我們的網站能夠持續、健康地發展下去。