标签：robots

2012-05-22阅读(6445)赞(1)

在编写robots.txt文件之前，首先我们需要了解什么是robots.txt文件。robots.txt文件是指定给搜索引擎spider程序的收录规则。一般情况下搜索引擎spider程序自动访问互联网上的网站时，会首先检查该网站根目录下是否...