有些时候，站长并不希望某些页面被抓取和收录，如付费内容、测试阶段的页面、复制内容页面等。网站上不出现链接，或者使用JavaScript、Flash链接，使用nofollow等方法都不能保证页面一定不会被收录。站长自己虽然没有链接到不想被收录的页面，其他网站可能由于某种原因出现导入链接，导致页面被收录。
要确保页面不被收录，需要使用robots文件或Meta Robots标签。
此教程来源于《搜外网-夫唯SEO培训》，网址：https://www.seowhy.com/
本教程连接：https://www.seowhy.com/a/1442.html，为原创表示感谢！