廣元網站優化SEO問答:百度蜘蛛的抓取方式和異常原因
閱讀 ?·? 發布日期 2018-12-07 09:26 ?·? admin
1,網站更新頻率:更新快多來,更新慢少來,直接影響Baiduspider的來訪頻率
3,連通度:網站應該安全穩定、對Baiduspider保持暢通,經常給Baiduspider吃閉門羹可不是好事情
抓取頻次間接決定著網站有多少頁面有可能被建庫收錄,如此重要的數值如果不符合站長預期該如何調整呢?百度站長平臺提供了抓取頻次工具,并已完成多次升級。該工具除了提供抓取統計數據外,還提供“頻次調整”功能,站長根據實際情況向百度站長平臺提出希望Baiduspider增加來訪或減少來訪的請求,工具會根據站長的意愿和實際情況進行調整。
4,IP封禁:IP封禁為:限制網絡的出口IP地址,禁止該IP段的使用者進行內容訪問,在這里特指封禁了BaiduspiderIP。當您的網站不希望Baiduspider訪問時,才需要該設置,如果您希望Baiduspider訪問您的網站,請檢查相關設置中是否誤添加了BaiduspiderIP。也有可能是您網站所在的空間服務商把百度IP進行了封禁,這時您需要聯系服務商更改設置。
6,死鏈:頁面已經無效,無法對用戶提供任何有價值信息的頁面就是死鏈接,包括協議死鏈和內容死鏈兩種形式:
內容死鏈:服務器返回狀態是正常的,但內容已經變更為不存在、已刪除或需要權限等與原內容無關的信息頁面。
7,異常跳轉:將網絡請求重新指向其他位置即為跳轉。異常跳轉指的是以下幾種情況:
2)跳轉到出錯或者無效頁面
8,其他異常:
2)針對百度ua的異常:網頁對百度UA返回不同于頁面原內容的行為。
4)壓力過大引起的偶然封禁:百度會根據站點的規模、訪問量等信息,自動設定一個合理的抓取壓力。但是在異常情況下,如壓力控制失常時,服務器會根據自身負荷進行保護性的偶然封禁。這種情況下,請在返回碼中返回503(其含義是“Service Unavailable”),這樣Baiduspider會過段時間再來嘗試抓取這個鏈接,如果網站已空閑,則會被成功抓取。
為您推薦
- 襯塑管網站建設_網頁定制制作與開發 2020-01-12
- 保溫管網站建設_網頁定制制作與開發 2020-01-12
- 玻璃管網站建設_網頁定制制作與開發 2020-01-12
- 鍍鋅方矩管網站建設_網頁定制制作與 2020-01-12
- PVC管材網站建設_網頁定制制作與開發 2020-01-12