教学之友,学习之友。

站长教学网

当前位置: 站长教学网 > 数据库 > 搜索引擎 >

分析豆瓣网根目录下robots.txt文件

时间:2013-08-02 14:10来源:未知 作者:ken 点击:

豆瓣网的robots.txt中有Crawl-delayVisit-timeRequest-rate,好多人搞不清楚这是什么含义,因为平时大家用的最多的是User-agentDisallow。不会写的新手们可以参考下http://www.douban.com/robots.txt

内容如下:
========================================================
User-agent: *
Disallow: /subject_search
Disallow: /amazon_search
Disallow: /forum/
Disallow: /new_subject
Disallow: /service/iframe
Disallow: /j/
Disallow: /link2/
Sitemap: http://www.douban.com/sitemap_index.xml
Sitemap: http://www.douban.com/sitemap_updated_index.xml

User-agent: Slurp
User-agent: Sosospider
Crawl-delay: 5
Visit-time: 0100-1300
Request-rate: 40/1m 0100 - 0759
Request-rate: 12/1m 0800 - 1300

========================================================

下面来解释下含义:站长教学网 eduyo.com

robots.txt文件中各项目的格式为:   <field>:<optionalspace><value><optionalspace>
常用的field有Allow, Disallow, Request-rate, Visit-time, User-agent, Robot-version等.robots.txt文件中的注释以'#'开始.可以为独立的一行,也可以一行的后面部分.下面对每一个field,也叫directive进行一一介绍:

1. User-agent: The value of this field is the name of the robot the record is describing access policy for.
   例子:User-agent: *
   在这里*代表,any robot that has not matched any of the other records

2. Disallow: 指定不能访问我URL
     例子: Disallow: /foo.html     #foo.html不能访问
               Disallow:                   #该目录下所有URL都可访问
               Disallow: /                 #该目录下所有URL都不可以访问

3. Allow: 用来指定能访问的URL, 这个在当指定所有URL为不可访问,然后可以用这个排除特殊的一些. 这时候比较方便.
    例子: Allow: / #允许访问所有URL

>>>> 一般的网站基本用到这些,下面用的就不多了,所以好多人看不懂,一般大型网站用的比较多,大家可以学习下。

4. Robot-version: 用来指定robot协议的版本号
    例子: Robot-version: Version 2.0

5.Crawl-delay:雅虎YST一个特定的扩展名,可以通过它对我们的抓取程序设定一个较低的抓取请求频率。您可以加入Crawl-delay:xx指示,其中,“XX”是指在crawler程序两次进入站点时,以秒为单位的最低延时。

6. Visit-time:只有在visit-time指定的时间段里,robot才可以访问指定的URL,否则不可访问.
     例子: Visit-time: 0100-1300 #允许在凌晨1:00到下午13:00访问

7. Request-rate: 用来限制URL的读取频率
     例子: Request-rate: 40/1m 0100 - 0759 在1:00到07:59之间,以每分钟40次的频率进行访问
           Request-rate: 12/1m 0800 - 1300 在8:00到13:00之间,以每分钟12次的频率进行访问

另外还有一点:robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样:
Sitemap: http://www.eduyo.com/sitemap.xml   (此处请填写XML地图的绝对路径,即完整URL,如果按习惯填写Sitemap: /sitemap.xml,提交给Google网站管理员工具后会提示:检测到无效的 Sitemap 网址;语法错误。   XML地图必须在网站根目录下才有效。)
 

(责任编辑:ken)
TAG标签: 搜索引擎 蜘蛛 robots
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
注册登录:不允许匿名留言,登录后留言无需输入验证码。
栏目列表
最新内容