153-1215-0221
點擊撥打咨詢電話
點擊撥打咨詢電話
奇米影视网
您的當前位置:主頁 > 優化技術 >

robots.txt的寫寫法_作用和注意事項

時間:2017-10-13 15:33 作者:蘇州網站優化

  robots.txt是網站根目錄下的一個文件,是爲了標準蜘蛛抓取的,robots.txt是蜘蛛到網站抓取內容首先檢查的文件,其關于網站的seo優化影響是很大的。有很多老手冤家不曉得robots協議的書寫規則,在操作的時分由于錯寫了robots規則,招致網站在一段工夫內搜索引擎的蜘蛛都沒去網站抓取內容。蜘蛛沒有抓取,更別說取得排名了。那麼robots協議應該怎樣寫才是合格的呢?


  一、robots.txt文件的作用


  1、用以屏蔽網站內的死鏈接。


  2、屏蔽搜索引擎蜘蛛抓取站點內反復內容和頁面。


  3、阻止搜索引擎索引網站隱私性的內容。


  二、robots.txt的寫法


  首先,在網站的根目錄上面新建 一個robots.txt的文件,翻開文件依照上面的格式停止書寫。


  1.User-agent鍵


  前面接著各個搜索引擎的蜘蛛詳細稱號,比方百度蜘蛛Baiduspider、谷歌蜘蛛Googlebot。


  關于這項,我們普通這麼寫


  User-agent: *


  表示包括了一切搜索引擎的蜘蛛。


  2.Disallow鍵


  該鍵用來闡明不允許搜索引擎蜘蛛抓取的URL途徑。


  例如:Disallow: /index.php 制止抓取網站index.php文件


  3.Allow鍵


  該鍵闡明允許搜索引擎蜘蛛匍匐的URL途徑


  例如:Allow: /index.php 允許網站的index.php被抓取


  4.通配符*


  代表恣意多個字符


  例如:Disallow: /*.jpg 表示網站一切的jpg格式的圖片文件被制止了。


  5.完畢符$


  表示以后面字符完畢的url。


  例如:Disallow: /?$ 網站一切以?開頭的文件被制止。


  三、robots.txt文件留意事項


  robots文件的編寫,應該在:前面打一個空格,然后在寫值。


  比方:


  Disallow:/wp-admin/ 錯誤的寫法


  Disallow: /wp-admin/ 正確的寫法


上一篇:沒有了
下一篇:如何快速制作高質量網站內容
?
蘇州獵搜云
文章資訊
客戶案例
服務項目
聯系我們

153-1215-0221

獵搜云網絡服務熱線

Powered By 蘇州獵搜云SEO 網站地圖【HTML/XML