robots.txt的解禁和百度抓取診斷,為什么和站長們分享這兩個問題呢,因為漳州網站建設被這兩個問題搞的頭大,沒有很多的經驗,只能自己去百度搜索,一步一步去想辦法解決,就像一個小丑被玩弄試的,但皇天不負有心人,在今天筆者成功解決了這兩個問題,百度也成功抓取了博客首頁,雖然是不帶w的域名,但這是成功的一小步,喜大普奔,可能SEOer在建站的時候會遇到,所以在這跟大家一起分享。

 1.robots.txt的解禁

很多新手SEO應該跟筆者一樣,一開始對網站都是全面設置禁止搜索引擎抓取,就是想等個好日子再把網站開放出來,可是一設置robots.txtx就停不下來了,先看一組漳州網站優化robots.txt的記錄。

robots.txt解禁和百度抓取診斷1

在5月30日就設置了百度全面封禁,而且是對全面搜索引擎的封禁,卻出來了個小意外,360搜索引擎竟然可以收錄博客,而且還是首頁,看來360搜索引擎對robots.txt還是相當的有意見,所以在對待360還是百度上站長們得多個心。插個小曲不知道百度站長統計與cnzz統計對360也是兩碼事不。

筆者在6月26日把robots.txt解禁掉后,一直在站長工具查詢robots.txt的情況,到今天7月4日才解禁掉,百度才有去抓取,其中間隔了8天,因為剛新建的博客,心里比較著急,這期間筆者每天就去查一下robots.txt的情況,還是一樣的結果對百度全面封禁。但是筆者又想雖然還沒解禁,但搜索引擎蜘蛛還是會來爬取只是沒有收錄吧,所以每天定時的文章更新和外鏈建設就是漳州網站建設這8天的全部任務,幸好百度還是沒讓筆者的努力功虧一簣。

robots.txt解禁和百度抓取診斷2

2.百度的抓取診斷

在解禁robots.txt期間,筆者用百度站長工具區抓取診斷,一直是抓取失敗,顯示信息是網站ip,未解析到ip,這讓筆者心驚膽跳的,每隔一會就去診斷,筆者就去百度搜索原因,在網站可以訪問無出現任何小插曲,可能有兩種說法,其一是robots.txt對搜索引擎封禁,導致未解析到ip,工具出錯,其二是dns出錯,因為筆者的網站360有抓取收錄,就懷疑是dns出錯,筆者就更換了國內的dns服務,改為dnspod解析服務商,終于抓取成功了。

總結:網站結構正確,網站可以正常訪問,在不清楚robots.txt是否解禁,做好內容優化才是王道,內容優化遵循兩個原則:原創的獨特性,快速且經常性,解禁robots.txt差不多一周時間,做SEO耐得住寂寞才行,這期間不能去更改網站結構程序代碼,否則就不止一周哈,百度自身工具抓取診斷雖然強大,但是也得視情況而定,具體問題具體分析。

【上一篇】 【下一篇】
  • 文章標簽:
  • 本文鏈接: robots.txt解禁和百度抓取診斷 | 米萊SEO博客
  • 版權所有: 除非注明,文章均為米萊SEO博客首創-轉載請標明出處,謝謝