当前位置: seo优化首页 >网站建设列表页 > 文章页

robots.txt文件如何去写?

发表日期:2019-11-01 浏览次数:

robots.txt文件的写法
User-agent: *    这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/   这里定义是禁止爬寻require目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC 这里定义是禁止爬寻ABC整个目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件
User-agent: *   这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow: /cgi-bin/  这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片

用法举例:
1. 允许所有的robot访问
User-agent: * Allow: / 或者 User-agent: * Disallow:
2. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
3. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
4. 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
5. 禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
6. 允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
7. 使用”*”限制访问url
禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
8. 使用”$”限制访问url
仅允许访问以”.htm”为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /
例9. 禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
10. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
11. 仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
12. 仅禁止Baiduspider抓取.jpg格式图片
User-agent: Baiduspider
Disallow: .jpg$

优质文章推荐

网站中文章每天更新重

优化网站是需要每天更新文章的,特别是新网站的时候,没什么文章内容,更应该更...

日期:2020-05-23   浏览次数:190

为什么百度蜘蛛不来抓

1、服务器或许空间宕机 网站的服务器或许空间宕机蜘蛛访问不了,就会出现蜘蛛不来...

日期:2020-05-23   浏览次数:420

如何修改网站标题才能

如果你要修改的网站页面还没有被抓取到,可以随便修改。 修改网站标题会影响SEO优...

日期:2020-05-23   浏览次数:228

tag标签的作用是什么

一、什么是TAG标签? TAG标签是一种由自己定义的,比分类更准确、更具体,可以概括...

日期:2020-05-23   浏览次数:218

网站长时间只收录首页

百度只收录了网站首页分两种情况,一种是新网站只被百度收录了首页,另一种是网...

日期:2020-05-23   浏览次数:398

如何修改网站标题才能

如果你要修改的网站页面还没有被抓取到,可以随便修改。 修改网站标题会影响SEO优...

日期:2020-05-23   浏览次数:228

seo优化都喜欢用老域名

很多人很好奇,老域名做SEO优化真的会事半功倍吗?因为很多从事这个行业都朋友,...

日期:2020-03-25   浏览次数:288

有效提升网站权重的方

一、什么是网站权重 网站权重是指搜索引擎给网站(包括网页)赋予一定的权威值,...

日期:2020-03-11   浏览次数:329

什么是面包屑导航和它

什么是面包屑导航: 面包屑导航 (BreadcrumbNavigation)这个概念来自 童话故事 汉赛尔和...

日期:2019-12-28   浏览次数:287

百度蜘蛛爬取网站的频

1、 网站 结构 实现良好的 树状 结 构 ;网站链接实现静态化;网站内容资源丰富。一...

日期:2019-11-08   浏览次数:233