1、robots協(xié)議是什么

robots協(xié)議也叫 robots.txt（統(tǒng)一小寫）是一種存放于網站根目錄下的ASCII編碼的文本文件，它通常告訴網絡搜索引擎的漫游器（又稱網絡蜘蛛），此網站中的哪些內容是不應被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。

2、robots協(xié)議怎么寫

因為一些系統(tǒng)中的URL是大小寫敏感的，所以robots.txt的文件名應統(tǒng)一為小寫。

User-agent: *

Disallow:

allow:

'*'和'$'的含義

Baiduspider支持使用通配符'*'和'$'來模糊匹配url。

'$' 匹配行結束符。

'*' 匹配0或多個任意字符。

對于一般企業(yè)可以這樣的去寫，在Disallow掉不想被搜索引擎抓取的文件即可，比如我們的網站數(shù)據，圖片等等。

本文來源：徐州酷優(yōu)網絡科技有限公司

本文網址：https:///news/faq/2732.html

聲明，本站文章均為酷優(yōu)網絡原創(chuàng)或轉載，歡迎分享，轉載時請注明文章作者和“來源：徐州網站建設”并附本文鏈接