青铜峡robots.txt文件如何去写?

发表日期:2019-11-01 浏览次数:

robots.txt文件的写法
User-agent: *    这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/   这里定义是禁止爬寻require目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC 这里定义是禁止爬寻ABC整个目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有的动态页面
Disallow: .jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html所有文件
User-agent: *   这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow: /cgi-bin/  这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片

用法举例:
1. 允许所有的robot访问
User-agent: * Allow: / 或者 User-agent: * Disallow:
2. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
3. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
4. 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
5. 禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
6. 允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
7. 使用”*”限制访问url
禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
8. 使用”$”限制访问url
仅允许访问以”.htm”为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /
例9. 禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
10. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
11. 仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
12. 仅禁止Baiduspider抓取.jpg格式图片
User-agent: Baiduspider
Disallow: .jpg$

优质文章推荐

青铜峡你对于互联网营销模式

在互联网时代,我们不能逃避与网络的连接,但我们也需要知道,社会上大多数人愿...

日期:2022-07-12   浏览次数:159

青铜峡准确的来说SEO优化分哪

对于刚开始接触SEO优化的新手来说,感觉SEO优化好像是特别简单的,但是做了一段时...

日期:2022-07-12   浏览次数:159

青铜峡如何避免网站优化过度

SEO外包公司是专门为企业以及营销网站进行站内外SEO优化的,为了就是增加企业的曝...

日期:2022-07-12   浏览次数:159

青铜峡网络推广的策略你知道

很多人想要做网络推广,而且是从零开始。都不知道如何开始,其实每个企业对应的...

日期:2022-07-12   浏览次数:159

青铜峡SEO优化优先考虑的网站

当一个网站搭建好之后,对于SEO优化来说,最优先考虑的则是网站的三大要素即T标题...

日期:2022-07-12   浏览次数:159

青铜峡网站不备案会有什么影

备案是由国家规定的,是为了防止在网上从事非法的网站经营活动,打击不良互联网...

日期:2019-11-18   浏览次数:2654

青铜峡foreach和for循环的有什么

1.如果只是遍历集合或者数组,用foreach好些,快些。 2.如果对集合中的值进行修改,...

日期:2019-11-07   浏览次数:2507

青铜峡网站外链应该怎么做?

我们应该清楚外链的含义是什么。外链就是指的别人网站的导入自己网站的链接,这...

日期:2019-11-23   浏览次数:3056

青铜峡黑帽优化网站为什么不

1、损害企业形象 黑帽SEO利用作弊手段陷害竞争对手,私下买卖链接,做垃圾外链和垃...

日期:2020-04-11   浏览次数:2575

青铜峡如何避免过度优化

过度优化很可能会招致网站降权,严重的网站会被k掉。望文生义,优化多度普通都是...

日期:2019-12-09   浏览次数:2464