Robots.txt文件生成
1.Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。
它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。
2.[User-agent:]用于描述搜索引擎蜘蛛的名字,在" Robots.txt "文件中,如果有多条User-agent记录
说明有多个搜索引擎蜘蛛会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项
的值设为*,则该协议对任何搜索引擎蜘蛛均有效,在" Robots.txt "文件中,"User-agent:*"这样的记录只能有一条。
3.[Disallow:]用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何
以Disallow开头的URL均不会被Robot访问到。