robotstxt

robots.txt是要放到根目录下面的。所谓的根目录就是你的网站程序所在的那个目录，一般的根目录貌似都是个叫WEB或者www文件夹robots.txt文件必须驻留在域的根目录，并且必须命名为“robots.txt”。位于子目录中的robots.txt文件无效，因为漫游器只在域的根目录这个文件。如果您没有访问域的根目录，可以使用限制访问robots元标记。