快推365SEO问答正文

如何通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

2021/4/13 10:39:09

1349浏览量

回答

2021/4/13 10:43:02

    很多时候,我们在分析网站访问日志的时候,通过网站日志分析,会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀,如:.php、.asp、.aspx等。

    我们可通过robots.txt文件禁止蜘蛛抓取不存在的后缀,减少出现404返回值。

    

    在robots.txt文件填写屏蔽规则如下:

    Disallow: /*.asp$

    Disallow: /*.php$

    Disallow: /*.aspx$

    注意前面一个*,后面一个$,代表后缀。


    这样,守规则的合法搜索引擎就会在抓取的时候忽略掉对应的后缀文件的访问和抓取。

0+1

0+1