网站蜘蛛日志分析
识别日志里各搜索引擎蜘蛛的抓取情况。
粘贴网站访问日志(每行一条,支持 Nginx/Apache 常见格式)
这个工具能做什么
把服务器的 access.log 访问日志粘进来,工具按 User-Agent 特征识别出百度、谷歌、必应、搜狗、360、神马、字节等搜索引擎蜘蛛,统计各自的抓取次数并列出它们抓得最多的页面。看蜘蛛来没来、爬了哪些页、有没有抓错地方,做收录排查时很有用。日志在本地解析,不上传服务器。
处理全部在你自己的浏览器里完成,输入的内容不会上传到服务器,用着放心。
网站蜘蛛日志分析是一个免费的在线工具,打开网页就能用,不用下载也不用注册。平时大家搜的“蜘蛛日志分析”、“爬虫日志”、“百度蜘蛛日志”,说的都是这个。
使用方法
- 填入内容,或设置好选项。
- 点生成 / 分析 / 查询按钮。
- 结果显示在下方,点复制即可带走。