Robots.txt 文件应放在哪里？
Robots.txt 文件必须放在网站的根目录。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
比如：
http://www.seowhy.com/robots.txt 有效
https://www.seowhy.com/"https://www.seowhy.com/a/61.html">使用标签阻止网页被收录。
此教程来源于《搜外网-夫唯SEO培训》，网址：https://www.seowhy.com/
本教程连接：https://www.seowhy.com/a/92.html，为原创表示感谢！