百度站長工具抓取診斷失敗的原因分析

閱讀 ?·? 發布日期 2020-05-05 09:12 ?·? admin

 對于SEO站長,經常會使用百度站長平臺的抓取診斷工具,主要作用是以百度蜘蛛的角度去分析網站的內容,判斷百度蜘蛛的抓取情況,解決了百度蜘蛛與seo站長們眼中內容是否一致的問題。如果經常出現抓取失敗,那會大大的影響網站的正常收錄,下面筆者來分析一下百度抓取診斷失敗的原因有哪些。網站建設網站設計網站制作★網頁設計-599元全包;企業網絡推廣☆網站優化seo☆關鍵詞排名☆百度快照-2200元全年展示;做網站優化排名-網站建設公司

  1.301或302重定向設置錯誤

  301重定向是指百度蜘蛛訪問鏈接時發生了跳轉,如果跳轉后的鏈接超長或者連續跳轉的次數超過5次,就會發生重定向錯誤而導致抓取失敗。

  2.網站訪問速度

  很多SEO站長表示,在本地測試訪問時候,返回的HTTP狀態碼是200,但是抓取診斷就一直顯示抓取中,沒有反饋任何結果,這是由于服務器的線路不同,百度蜘蛛抓取的速度可能發生延時,就會產生明明可以正常訪問,卻出現抓取失敗的情況。一般遇到這種情況需要定期檢測服務器各地訪問速度,優化網站的打開訪問速度。

百度站長工具抓取診斷失敗的原因分析

  3.robots.txt封禁

  在抓取診斷工具中如果返回的抓取失敗,請確認你是否對該網站設置了robots.txt封禁,阻止百度蜘蛛抓取網站的某些內容,如果你未使用robots.txt文件屏蔽百度,請點擊旁邊的報錯鏈接,百度會立即更新你網站的robots信息;如果是你的誤操作導致了robots.txt封禁,請及時修改robots文件,避免造成你的網站在百度收錄量影響。

  4.DNS錯誤問題

  DNS錯誤是指由于服務器停止運行或DNS到你網域的路由存在問題,導致百度蜘蛛無法與DNS服務器通信。對于持續的或反復出現的DNS錯誤,請與你的DNS提供商聯系處理。通常情況下,你的DNS提供商即為網站服務器托管服務提供商,配置你的服務器,使其能夠以404或500等HTTP錯誤代碼對不存在的主機名作出響應。

  5.404錯誤

  一般情況下,當百度蜘蛛訪問到不存在的網頁(因為你刪除或重命名了網頁且沒有將舊網址重定向到新網頁,或者鏈接中存在拼寫錯誤)時,就會出現“未找到”狀態錯誤(通常是404 HTTP狀態代碼),404錯誤也會導致抓取失敗。

  6.訪問遭拒絕

  一般情況下,百度會通過跟蹤網頁間的鏈接來查找內容。百度蜘蛛必須能夠訪問某個網頁才能抓取該網頁。如果你意外地看到了“訪問遭拒”的錯誤,可能是由于以下幾種原因導致的:

  (1)百度spider無法訪問您網站上的網址,因為你網站上的所有或部分內容要求用戶登錄后才能查看。

  (2)你的服務器要求用戶使用代理進行身份驗證,或者您的托管服務提供商阻止百度蜘蛛訪問你的網站。

  總結:

  百度站長工具抓取診斷失敗的原因還有很多,以上筆者分析了一些常見的,提供給大家參考,需要逐一排除找出原因。