乳色吐息在线_娇喘两分钟_美女脱光衣服的视频软件_精品动漫一区二区三区

北京光輝網站建設制作公司

【baiduspider】百度蜘蛛叫Baiduspider不是baidubot

2018-07-26 12:12


【baiduspider】百度蜘蛛叫Baiduspider不是baidubot
 
  今天又遇到有同學問我關于ROBOTS該如何去寫的問題,這里整理下給大家,其實也都是來源于網路上,注意百度的蜘蛛叫做Baiduspider而不是baidubot,谷歌的叫做googlebot。
 
  1、禁止所有搜索引擎訪問網站的任何部分
 
  User-agent:*
 
  Disallow:/
 
  2、允許所有的robot訪問(或者也可以建一個空文件"/robots.txt")
 
  User-agent:*
 
  Allow:/
 
  另一種寫法是
 
  User-agent:*
 
  Disallow:
 
  3、僅禁止Baiduspider訪問您的網站
 
  User-agent:Baiduspider
 
  Disallow:/
 
  4、僅允許Baiduspider訪問您的網站
 
  User-agent:Baiduspider
 
  Allow:/
 
  5、禁止spider訪問特定目錄
 
  在這個例子中,該網站有三個目錄對搜索引擎的訪問做了限制,即robot不會訪問這三個目錄。需要注意的是對每一個目錄必須
 
  分開聲明,而不能寫成"Disallow:/cgi-bin//tmp/"。
 
  User-agent:*
 
  Disallow:/cgi-bin/
 
  Disallow:/tmp/
 
  Disallow:/~joe/
 
  6、允許訪問特定目錄中的部分url
 
  User-agent:*
 
  Allow:/cgi-bin/see
 
  Allow:/tmp/hi
 
  Allow:/~joe/look
 
  7、使用"*"限制訪問url
 
  禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
 
  User-agent:*
 
  Disallow:/cgi-bin/*.htm
 
  8、使用"$"限制訪問url
 
  僅允許訪問以".htm"為后綴的URL。
 
  User-agent:*
 
  Allow:/.htm$
 
  9、禁止訪問網站中所有的動態頁面
 
  User-agent:*
 
  Disallow:/*?*
 
  10、禁止Baiduspider抓取網站上所有圖片
 
  僅允許抓取網頁,禁止抓取任何圖片。
 
  User-agent:Baiduspider
 
  Disallow:/*.jpg$
 
  Disallow:/*.jpeg$
 
  Disallow:/*.gif$
 
  Disallow:/*.png$
 
  Disallow:/*.bmp$
 
  11、僅允許Baiduspider抓取網頁和gif格式圖片
 
  允許抓取網頁和gif格式圖片,不允許抓取其他格式圖片
 
  User-agent:Baiduspider
 
  Allow:.gif$
 
  Disallow:/.jpg$
 
  Disallow:/.jpeg$
 
  Disallow:/.png$
 
  Disallow:/.bmp$
 
  12、僅禁止Baiduspider抓取jpg格式圖片
 
  User-agent:Baiduspider
 
  Disallow:/.jpg$

服務支持

我們珍惜您每一次在線詢盤,有問必答,用專業的態度,貼心的服務。

讓您真正感受到我們的與眾不同!

合作流程

網站制作流程從提出需求到網站制作報價,再到網頁制作,每一步都是規范和專業的。

常見問題

提供什么是網站定制?你們的報價如何?等網站建設常見問題。

售后保障

網站制作不難,難的是一如既往的熱情服務及技術支持。我們知道:做網站就是做服務,就是做售后。

  • 網站地圖(HTML/XML|