robot.txt

robot.txt的文件格式

“robots.txt”文件包含一条或多条记录，这些记录通过空行分开（以CR、CR/NL、or NL作为结束符），每一条记录的格式如下所示：
“<field>:<optionalspace><value><optionalspace>”
在该文件中可以使用#进行注释，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行Ur-agent开始，后面加上若干Disallow行，详细情况如下：
Ur-agent：
该项的值用于描述搜索引擎机器人robot的名字。在“robots.txt”文件中，如果有多条 Ur-agent记录，说明有多个robot会受到该协议的约束。所以，“robots.txt”文件中至少要有一条Ur- agent记录。如果该项的值设为*（通配符），则该协议对任何搜索引擎机器人均有效。在“robots.txt”文件 中，“Ur-agent：*”这样的记录只能有一条。
Disallow：
该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以 是部分的，任何以Disallow开头的URL均不会被robot访问到。例如：
“Disallow: /help”对/help.html 和/help/index.html都不允许搜索引擎访问， 而“Disallow: /help/”则允许robot访问/help.html，而不能访问/help/index.html。
任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在 “/robots.txt”文件中，至少要有一条Disallow记录。如果“/robots.txt”是一个空文 件，则对于所有的搜索引擎robot，该网站都是开放的。

robot.txt的使用技巧

每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。
网站管理员必须使搜索引擎机器人程序远离服务器上的某些目录，以保证服务器性能。比如：大多数网站服务器都有程序储存在“cgi-bin”目录下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意，这样能够避免所有程序文件都被蜘蛛索引，以达到节省服务器资源的效果。
一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
下面是VeryCMS里的robots.txt文件：
Ur-agent: *
Disallow: /admin/ 后台管理文件
Disallow: /require/程序文件
Disallow: /attachment/ 附件
Disallow: /images/ 图片
Disallow: /data/数据库文件
Disallow: /template/ 模板文件
Disallow: /css/ 样式表文件
Disallow: /lang/ 编码文件
Disallow: /script/脚本文件
Disallow: /js/js文件
如果你的网站是动态网页，并且你为这些动态网页创建了静态副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引，以保证这些网页不会被视为是网站重复的内容。
robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样：
Sitemap: http://www.***.com/sitemap.xml
目 前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司，显然不在这个圈子内。这样做的好处就是，站长不用到每个搜索引擎的站长工具或者相似的站长部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就会抓取robots.txt文件，读取其中的sitemap路径，接着抓取其中相链接的网页。
合理使用robots.txt文件还能避免访问时出错。比如，不能让搜索者直接进入购物车页面。因为没有理由使购物车被收录，所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。

robot.txt作用是什么？

搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信 息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot 访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜 索引擎只收录指定的内容。

robot.txt的主要作用

有些人会问，既然robots文件没弄好，或出错了，会影响整个网站的收录，那为什么还要这个文件呢？
其实robots是为有特别情况的站长准备的，因为有些网站，有一些页面是站长不想被任何搜索引擎收录的，所以才有了这个robots文件。
robots.txt文件用法举例：
例1、禁止所有搜索引擎访问网站的任何部分
Ur-agent: *
Disallow: /
例2、允许所有的robot访问
Ur-agent: *
Disallow:
（或者也可以建一个空文件 /robots.txt file）
例3、禁止某个搜索引擎的访问
Ur-agent: BadBot
Disallow: /
例4、允许某个搜索引擎的访问
Ur-agent: Baiduspider
Disallow:
Ur-agent: *
Disallow: /
例5、假设某个网站有三个目录对搜索引擎的访问做了限制，可以这么写：
Ur-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /joe/
需要注意的是，对每一个目录必须分开声明，而不要写成：“Disallow: /cgi-bin/ /tmp/”。
Ur-agent：后的*（通配符） 具有特殊的含义，代表“any robot”，所以在该文件中不能有 “Disallow: /tmp/*” or “Disallow: *.gif ”这样的记录出现。
另外，robots.txt主要作用是保障网络安全与网站隐私，百度蜘蛛遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站就可以声明哪些页面不想被百度蜘蛛爬行并收录，每个网站都可以自主控制网站是否愿意被百度蜘蛛收录，或者指定百度蜘蛛只收录指定的内容。当百度蜘蛛访问某个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文件中的内容来确定访问的范围。

为什么电脑登录学习通的网站缺少robot.txt文件？

方法/步骤
首先我们需要了解下robot.txt文件的用途。说到robot.txt不得不提到robot（又称spider），robot就是搜索机器人，它能够自动访问互联网上的网页并获取网页信息。它会首先检查该站点根目录下是否存在robots.txt，如果存在，就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
robot.txt文件的详细使用教程
了解了它的用途之后，我们就可以深入的研究下这个文件了。一般建站的CMS下面都会自带有这个文件，而且里面书写了一些规则，当然这些规则都是根据CMS本身制定的。如果你用的不是现成的建站CMS，而是自己开发的，只需要在网站下面新建一个名为robot.txt文件即可。
robot.txt文件的详细使用教程
一般情况下robot.txt文件会以Ur-agent:开头，该项的值用于描述搜索引擎机器人robot的名字。例如Ur-agent:Baiduspider，就是针对百度蜘蛛进行的协议约束，robots.txt文件中至少要有一条Ur-agent记录。如果该项的值设为*（通配符），则该协议对任何搜索引擎机器人均有效。如果使用通配符，这样的记录只能有一条。
robot.txt文件的详细使用教程
第二个我们要熟悉的就是Disallow，这项值是用来描述不希望被搜索机器人访问到网址。这个网址可以是完整的路径，也就是域名加上目录名或者文件名的格式，也可以是相对，也就是除去了域名，只有文件名或者目录名。
robot.txt文件的详细使用教程
很多时候我们需要Disallow的文件或者目录并不止一个，有些人可能会图省事，直接把所有的文件或者目录都写在了一个Disallow中，其实这是一种错误的做法，正确的做法是一个Disallow的对应一个文件或者目录，有多少个目录或者文件需要设置就写几个Disallow的。
robot.txt文件的详细使用教程
robot.txt文件中也只有这两个属性了，只要掌握了这两个属性的用法，我们就可以根据自己网站的情况自定义robot.txt文件了，如果你的robot.txt文件没弄好，或出错了，会影响整个网站的收录，所以自定义robot文件的时候还需要格外注意。
robot.txt文件的详细使用教程
7
虽然我们有些目录不想被搜索机器人抓取，但是也不能写到robot.txt文件中，例如后台管理地址。相信这个目录大家都不想被蜘蛛攀爬，但是千万不要写入robot文件中，因为它可以被任何人访问，这样无形中让别人通过这个文件知道了你的后台地址，最后的结果只会事与愿违。

新网站上线如何有效的设置robot.txt文件，robot.txt文件怎样写更好。

robots.txt写作语法首先，我们来看一个robots.txt范例：
#robots.txtfilestart#Robots.txtfilefrom
http://www.361ku.com#AllrobotswillspiderthedomainUr
-agent:*Disallow:/curity/Disallow:/admin/Disallow:/admin.htm#Endrobots.txtfile
有#号的都是注释，方便阅读。Ur-agent就是搜索引擎的蜘蛛，后面用了*号，表示对所有的蜘蛛有效。Disallow就是表示不允许抓取，后面的目录或者文件，表示禁止抓取的范围。
下面，我将列举一些robots.txt的具体用法：允许所有的robot访问Ur-agent:*Disallow:或者也可以建一个空文件"/robots.txt"
禁止所有搜索引擎访问网站的任何部分Ur-agent:*Disallow:/
禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）Ur-agent:*Disallow:/01/Disallow:/02/Disallow:/03/
禁止某个搜索引擎的访问（下例中的BadBot）Ur-agent:BadBotDisallow:/
只允许某个搜索引擎的访问（下例中的Crawler）Ur-agent:CrawlerDisallow: