教你正确编写及检测robots.txt文件
时间:2012-05-22 作者:何昌全 分类:SEO 浏览:662

在编写robots.txt文件之前,首先我们需要了解什么是robots.txt文件。robots.txt文件是指定给搜索引擎spider程序的收录规则。一般情况下搜索引擎spider程序自动访问互联网上的网站时,会首先检查该网站根目录下是否有robots.txt文件,这个文件用于指定spider对网站的抓取范围,如果没有robots.txt文件或robots.txt文件为空则表示允许spider抓取网站上所有内容。

其次我们需要把robots.txt文件放在正确的位置。robots.txt文件应放置在网站根目录下,例如何昌全博客(http://www.hechangquan.com/)相应的robots.txt文件的地址为:http://www.hechangquan.com/robots.txt

生成robots.txt

...

Tags: 评论:0 [进行评论]

分页:[«]1[»]
  • 订阅我的博客: 订阅我的博客
Copyright © 2011-2020 www.hechangquan.com All Rights Reserved 何昌全博客 版权所有
琼ICP备10200916号-1 网站地图