标题: 如何分析网站日志文件 [打印本页]

---

作者: aa284717     时间: 2011-2-16 20:39    标题: 如何分析网站日志文件

关于网站日志文件的重要性，大家应该都比拟分明，这些文件中记载了很多网站的信息，其中剖析“搜索引擎蜘蛛匍匐与抓取状况”是SEO中的一项重要工作，理解搜索引擎蜘蛛程序对网站的状况，有助于我们对网站在搜索引擎状况的理解和下一步SEO展开的方案。那么如何剖析网站http://www.860993.com日志文件呢？

　　网络上有很多蜘蛛剖析工具，本人也尝试过很多，但是最终的效果确不太理想，这些工具中找不到我们想看的信息，下面是一款蜘蛛剖析工具剖析后的数据展现：

　　上面的蜘蛛剖析工具剖析的界面中，我们能看见的数据相当有限，只是能看见某些常见搜索引擎的蜘蛛程序来过、来访时间、访问次数等信息，而且目前很多剖析工具只是对一些常见的搜索引擎的蜘蛛程序停止剖析（例如上图中只能看见“百度”、“谷歌”、“雅虎”蜘蛛）。

　　这些数据关于剖析网站日志根本上没有什么协助，那么如何从网站日志中得到更多的信息呢？看来还得去查看日志文件，从原始文件中理解的数据最细致。说到这里，大家可能比拟郁闷，由于普通的网站日志文件都比拟大，而且里面全部是代码，看一会儿就会眼花，这样剖析一篇日志文件下来，人早就晕了。

　　关于这样的状况，我们应该如何有效的从中得到我们想要的信息呢，大家能够尝试下文本文件菜单中的查找功用，由于我们看日志文件都是理解搜索引擎的状况，用户阅读状况我们能够疏忽（前提是本人曾经做好友好的404错误页面）。

　　我们如今将一篇日志视为搜索引擎的索引库，想看什么，就查找什么，这样相对来将效率好是比拟高的。

　　1、查找百度搜索引擎蜘蛛匍匐状况

　　2、查找网站404代码呈现状况

　　当然，以上只是举例阐明，你能够依据本人的需求去日志文件查找任何你所理解的信息。http://www.860836.com下面提供一些常见搜索引擎的蜘蛛程序代码，便当大家运用。

　　百度蜘蛛：Baiduspider

　　谷歌蜘蛛：Googlebot

　　雅虎蜘蛛：Yahoo！Slurp

　　搜搜蜘蛛：Sosospider

　　搜狗蜘蛛：Sogouwebspider

　　有道蜘蛛：YoudaoBot

　　BING蜘蛛：msnbot

---

作者: littlefritz     时间: 2011-2-17 00:32
楼主发帖中含有恶意链接，已被扣分。

---

作者: 三人路     时间: 2011-2-20 15:52
看有点意思

---

欢迎光临 微点交流论坛 (http://bbs.micropoint.com.cn/)

bbs.micropoint.com.cn