這個robots是什么意思？

當一個搜索蜘蛛訪問網站時，首先訪問根目錄WWW下是否存在robots.txt，若存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍。

01-認識robots.txt

（1）robots.txt是搜索引擎訪問網站時查看的第一個文件，決定著蜘蛛能或不能訪問。

（2）若存在robots.txt文件，蜘蛛會按照該文件來確定訪問的范圍；若不存在，所有的搜索蜘蛛將能夠訪問網站上所有頁面。

（3）robots.txt必須放在一個站點的根目錄下，且文件名必須全部小寫（真實的服務器就使用ftp上傳）。

（4）建議就算允許所抓取所有內容，也要建一個空的robots.txt文件。

（5）可將sitemap網站地圖放置robots.txt文件（地圖寫法：http://abc.com/sitemap.html）。

02-robots.txt的寫法

（1）允許所有搜索引擎訪問網站所有內容

User-agent: *

Disallow:

（2）禁止所有搜索引擎訪問網站所有內容

User-agent: *

Disallow: /

（3）只允許百度搜索引擎抓取

User-agent: Baiduspider

Disallow: /

（4）如果我們禁止除百度外的一切搜索引擎索引

User-agent: Baiduspider

Disallow:

robots.txt文件其實就是告訴蜘蛛哪些頁面可以抓取，哪些頁面不能訪問。