例1.禁止所有搜索引擎訪問網(wǎng)站的任何部分 | User-agent: *
Disallow: / |
例2.允許所有的robot訪問
(或者也可以建一個(gè)空文件 "/robots.txt") | User-agent: *
Disallow:
或者
User-agent: *
Allow: / |
例3. 僅禁止Baiduspider訪問您的網(wǎng)站 | User-agent: Baiduspider
Disallow: / |
例4. 僅允許Baiduspider訪問您的網(wǎng)站 | User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: / |
例5. 禁止spider訪問特定目錄
在這個(gè)例子中，該網(wǎng)站有三個(gè)目錄對搜索引擎的訪問做了限制，即robot不會(huì)訪問這三個(gè)目錄。需要注意的是對每一個(gè)目錄必須分開聲明，而不能寫成 "Disallow: /cgi-bin/ /tmp/"。 | User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/ |
例6. 允許訪問特定目錄中的部分url | User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/ |
例7. 使用"*"限制訪問url
禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。 | User-agent: *
Disallow: /cgi-bin/*.htm |
例8. 使用"$"限制訪問url
僅允許訪問以".htm"為后綴的URL。 | User-agent: *
Allow: .htm$
Disallow: / |
例9. 禁止訪問網(wǎng)站中所有的動(dòng)態(tài)頁面 | User-agent: *
Disallow: /*?* |
例10. 禁止Baiduspider抓取網(wǎng)站上所有圖片
僅允許抓取網(wǎng)頁，禁止抓取任何圖片。 | User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$ |
例11. 僅允許Baiduspider抓取網(wǎng)頁和.gif格式圖片
允許抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片 | User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$ |
例12. 僅禁止Baiduspider抓取.jpg格式圖片 | User-agent: Baiduspider
Disallow: .jpg$ |
