如何下载日志

通过FTP访问网站的根目录。可以看到一个包含log的文件夹，这是存放日志的地方。

如何查看日志

下载、解压、打开日志文件，日志文件内容如：

61.135.168.22

- - [11/Jan/2009:04:02:45 0800] "GET /bbs/thread-7303-1-1.html

HTTP/1.1" 200 8450 "-"

"Baiduspider ( http://www.baidu.com/search/spider.htm)" (注：百度，这部分为本文添加)

203.208.60.43

- - [11/Jan/2009:04:02:43 0800] "GET

/sns/space-13563-do-friend-view-me.html HTTP/1.1" 200 5162 "-"

"Mozilla/5.0 (compatible; Googlebot/2.1;

http://www.google.com/bot.html)" (注：Google)

202.160.178.21

- - [11/Jan/2009:04:02:44 0800] "GET /sns/space.php?uid=323 HTTP/1.0"

200 7535 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp China;

http://misc.yahoo.com.cn/help.html)" (注：雅虎)

65.55.220.217

- - [11/Jan/2009:04:02:57 0800] "GET

/ucenter/avatar.php?uid=12373&size=small&type=virtual HTTP/1.1"

301 - "-" "msnbot-media/1.1 ( http://search.msn.com/msnbot.htm)" (注：MSN)

日志文件样板全文下载：

http://edu.seowhy.com/ziliao/wwwlog20090112.log

如何分析日志

蜘蛛名称：百度->baiduspider、Google

->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao

->YoudaoBot、sogou ->Sogou get spider。在日志文件里，搜索以上蜘蛛名称。就可以看到蜘蛛抓取的痕迹。

我们分析的主要点是，HTTP状态码，如以上的200和301。

" 200 5162 " 代表正常抓取，这次抓取了5162个字节。

不同的服务器或虚拟主机设置的日志记录内容不同。

有的如：200 0 33834 237 953 我们通过多看几条记录，观察规律，可以判断第三个数字代表字节数。

有的如：200 0 0或200 0 64 这是没有记录抓取字节数。注意：200 0 0和200 0 64 没代表什么问题。所谓200 0 64代表要被K的言论没有根据，一般的网站都有64代码。

在日志里，发现比较多的HTTP状态码是，200(正常)、304(没变化)、404(错误链接)。

304代表，自从上次抓取后，该内容没有更新。一般情况下，网站的图片经常会返回该值。

404代表，访问的这个链接是错误链接。这个错误链接，一方面来自原本存在后来删除了网页，另一方面可能来自本来就不存在，但其他人外链了这么个死链接。

转载来源：

此教程来源于《搜外网-夫唯SEO培训》，网址：https://www.seowhy.com/

本教程连接：https://www.seowhy.com/a/161.html，为原创表示感谢！