roobtstxt該怎么寫？

robots.txt文件時seo優(yōu)化中非常重要的一個文件，也是我們seo培訓的重點之一。規(guī)范合適的抒寫robots.txt文件，可以有效的提升蜘蛛抓取的效率，避免造成搜索引擎蜘蛛封禁的情況。下面鄭州seo楊超就來解釋一下robots協(xié)議怎么寫。

什么是robots.txt

Robots協(xié)議：網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。 協(xié)議寫在robots.txt文件里面。

要不要使用robots.txt

1、如果你的網(wǎng)站有部分內容不希望搜索引擎抓取，那么請設置robots.txt

2、如果你的網(wǎng)站全部內容都需要被搜索引擎抓取，可以不設置。

3、一般來說，一些后臺文件（如css、js）、用戶隱私的文件不用被搜索引擎抓取。

4、如果有些文件頻繁被蜘蛛抓取，但是這些文件又是不重要的，那么可以用robots.txt進行屏蔽。

robots.txt的用法

User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符

Disallow: /文件夾名稱/ 這里定義是禁止爬取這個文件夾下面的目錄

Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以”.htm”為后綴的URL(包含子目錄)。

Disallow: /*?* 禁止訪問網(wǎng)站中所有包含問號 (?) 的網(wǎng)址

Disallow: /.jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片

Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。

Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄

Allow: /tmp 這里定義是允許爬尋tmp的整個目錄

Allow: .htm$ 僅允許訪問以”.htm”為后綴的URL。

Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片

Sitemap: 網(wǎng)站地圖的URL 告訴爬蟲這個頁面是網(wǎng)站地圖

robots.txt示例

# robots.txt for 閱讀青春readu.net

User-agent: *

Allow: /

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /?r=*

robots標簽的用法（mate標簽是寫在網(wǎng)頁head里面的代碼）

<meta name=”robots” content=”nofollow”> 所有搜索引擎都不允許爬行

<meta name=”baiduspider” content=”nofollow”> 百度搜索引擎不允許爬行

<meta name=”robots” content=”noarchive”> 所有搜索引擎都不允許收錄

<meta name=”baiduspider” content=”noarchive”> 百度搜索引擎都不允許收錄

robots.txt具體用途

1、一個頁面對應多個URL時，應屏蔽多余的URL。

2、如果網(wǎng)站有頁面是沒有實質性內容的，應該屏蔽掉。

3、如果網(wǎng)站改版刪除了大量的頁面（404），應該屏蔽掉。

4、如果是UGC網(wǎng)站，用戶產生了大量的不良內容，應該屏蔽掉。

5、不希望被搜索引擎索引的內容（后臺界面、用戶隱私），應該屏蔽掉。