2018-06-24 22:52
怎么屏蔽百度已收錄的不必要二級目錄
前些日子碰到一個冤家他問了我一個成績:咱們的網(wǎng)站只收錄abc.XXX.com,的二級目次類域名,不收錄www.xxx.com的怎么辦?我看到這個成績時分我過后下意識的說了句robots屏障就好了,而后我更具他們各個二級站點比方寫了一個robots文件發(fā)給她如下:
User-agent: *
Disallow: /abc/
然而緊接著方法都被逐個保持了,由于通通行不通.由于他們的網(wǎng)站一切二級目次以及主目次在ftp中都是在一致文件夾下,而后我又總結(jié)了他們網(wǎng)站呈現(xiàn)的成績.
1.網(wǎng)站不帶www的二級域名曾經(jīng)收錄過萬,且逐日都有蜘蛛爬取,但帶www的主域名至今只收錄二三十個,且另有降落的趨向,以是想讓網(wǎng)站收錄帶www的主域名頁面.
2.網(wǎng)站一切頁面在一致個文件夾下無奈應(yīng)用robots屏障門路形式屏障頁面.
盡管我在baidu查問了很久然而卻并未查到過量有效信息,大多都是以及我第一次給出的謎底同樣,但最初咱們?nèi)允窍氤隽朔椒ㄌ幚砹诉@個成績,那關(guān)于屏障二級目次收錄成績,總結(jié)了如下幾點可供抉擇.
1.假如需求屏障的頁面以及主頁面是在分歧的文件夾下咱們能夠間接采納我上面提到的間接robots文件屏障,寫法比方Disallow: /abc/之類的間接robots屏障方法.
2.無奈應(yīng)用robots制止搜索引擎收錄某個二級域名的,最佳的方法便是301,關(guān)于有效的頁面將一切的二級目次類域名重定向,無用的就間接刪除.
3.法,將而與目次調(diào)配到分歧的空間下應(yīng)用robots屏障.
4.個判別順序,讓要屏障的二級域名上面有一個robots.txt文件.abc.xxx.com/robots.txt,而后在應(yīng)用robots屏障.此方法我沒有試過我是看到夫唯教師很久前給他人的一個倡議,就實踐而言是能夠行的通的.