177-2256-6924

网站优化之robots.txt全攻略

来源:网站建设

当搜索引擎访问网站时,它首先检查网站的根域下是否存在名为robots.txt的纯文本文件。 Robots.txt文件用于限制搜索引擎访问其网站的范围,该网站告知搜索引擎网站允许检索(下载)哪些文件。这是每个人经常在互联网上看到的“机器人排除标准”。下面我们称为RES。

Robots.txt文件的格式:Robots.txt文件的格式是特殊的,它由记录组成。这些记录由空行分隔。这些记录中的每一个都包含两个域:

1)User-Agent字符串行;

2)几个禁止字符串行。

记录格式为:“:“

下面我们将进一步解释这两个领域。

用户代理:

用户代理行(用户代理行)用于指定搜索引擎机器人的名称。以Google的搜索程序Googlebot为例。用户代理: Googlebot

robots.txt中必须至少有一个用户代理记录。如果有多个用户代理记录,则表示有多个机器人符合RES标准。当然,如果要指定所有机器人,只需使用通配符“*”即可。你已经完成了:用户代理: *不允许:

在Robots.txt文件中,每条记录的第二个字段是Disallow:命令行。这些Disallow行声明了您不希望访问的站点上的文件和/或目录。例如,“Disallow: email.htm”已发表关于访问该文件的声明,禁止Spiders下载该网站上的email.htm文件。并且“禁止:/cgi-bin /”声明访问cgi-bin目录,拒绝蜘蛛进入目录及其子目录.Disallow声明行也有一个通配符函数。例如,在上面的示例中,“禁止:/cgi-bin /“声明拒绝搜索引擎访问cgi-bin目录及其子目录,而”Disallow:/bob“拒绝搜索引擎对/bob.html和/bob/indes。 html访问(即名为bob的文件和名为bob的目录中的文件都不允许搜索引擎访问)。如果Disallow记录留空,则该站点的所有部分都对搜索引擎开放。

太空&评论

在robots.txt文件中,所有行都以“#”开头。被视为注释,这与UNIX中的约定相同。但是每个人都需要关注两个问题:

1)RES标准允许将注释放置在指标行的末尾,但所有Spiders都不支持此格式。例如,并非所有Spiders都能正确理解“Disallow: bob#comment”这样的指令。有些Spiders会误解Disallow是“bob#comment”。最好的方法是将注释作为一行。

2)RES标准允许在指令行的开头有空格,例如“Disallow: bob#comment”,但我们不推荐它。

创建Robots.txt文件:

应该注意,应该在UNIX命令行终端模式下创建Robots.txt纯文本文件。一个好的文本编辑器通常可以提供UNIX模式功能,或者您的FTP客户端软件应该“应该”能够为您转换它。如果您尝试使用不提供文本编辑模式的HTML编辑器生成robots.txt纯文本文件,那么您可以使用蝎子徒劳地击中蚊子——。

扩展到RES标准:

尽管已经提出了一些扩展标准,例如允许行或机器人版本控制(例如,应忽略案例和版本号),但它们尚未得到RES工作组的正式批准。

附录I. Robots.txt用法示例:

使用通配符“*”设置对所有机器人的访问权限。

用户代理: *

禁止:

表示允许所有搜索引擎访问该网站下的所有内容。

用户代理: *

禁止:/

表示禁止所有搜索引擎访问该网站下的所有页面。

用户代理: *

禁止:/cgi-bin/Disallow:/images/

表示所有搜索引擎都不允许使用cgi-bin进入该网站。以及images目录及其下的所有子目录。应该注意,每个目录必须单独声明。

User-agent: Roverdog

Disallow:/

表示禁止Roverdog访问站点上的任何文件。

用户代理: Googlebot

禁止: cheese.htm

表示禁止Google的Googlebot访问其网站下的cheese.htm文件。

以上介绍了一些简单的设置。有关更复杂的设置,请参阅一些大型网站,如CNN或Looksmart的robots.txt文件(www.cnn.com/robots.txt,www.looksmart.Com/robots.txt)

解决方案

多场景行业解决方案。供网站建站、网络营销、APP开发、企业应用软件等多平台运营的全方位解决方案。抓住行业特性,集中市场焦点为您打造出一套将商品销售、供应链、线上线下、服务等多平台运营的全方位解决方案。 查看更多
咨询服务热线 / 177-2256-6924
座机. 17722566924
手机. 17722566924
邮箱. 207813596@qq.com
地址. 深圳宝安区新安三路
他们选择我们






深圳沉默科技工作室 备案号 Copyright 2011,ALL Rights Reserved