王朝235网址导航
立即发布
当前位置:首页 > SEO优化 > 正文
文章资讯分类

国内外搜索引擎蜘蛛名称分享 帮助您分析网站日志

  • 时间:2022-09-20
  • 作者:王朝235导航
  • 阅读:5 次

作为一名合格的网站长,我们要学会分析网站日志,网站日志里面包含了所有访问者的来访记录,本文将分享国内外搜索引擎蜘蛛名称,让大家在分析网站日志的时候能知道来访搜索引擎蜘蛛对应的名称,了解我们的网站被哪些搜索引擎在抓取,这也是SEO必须要做的一件事情。

百度蜘蛛最新名称为Baiduspider,日志中还发现了Baiduspider-image这个百度旗下蜘蛛,我们直接看名字就可以知道它是干嘛的,是专门用以抓取图片的蜘蛛。常见百度旗下同类型蜘蛛还有下面这些:Baiduspider-mobile(抓取wap)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。
谷歌:googlebot
这个争议较少,但也有说是Googlebot的。谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;”,除此还发现了Googlebot-Mobile,看名字显然是抓取wap内容的。
搜搜:sosospider
必应:bingbot
雅虎:Yahoo! Slurp
“Yahoo! Slurp China”或者Yahoo,名称中带“Slurp”和空格。
搜狗:Sogou web spider 其名称为,Sogou News Spider。
搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider(参考一些网站的robots文件,搜狗蜘蛛名称可以用Sogou来简单概括)。看看最权威的百度的robots.txt ,http://www.baidu.com/robots.txt就为搜狗蜘蛛费了不少字节,占了一大块地方。
“Sogou web spider;Sogou inst spider;Sogou spider2;Sogou blog;Sogou News Spider;Sogou Orion spider”目前主要有这么6个,名称都带空格。线上常见Sogou web spider/4.0、Sogou News Spider/4.0、Sogou inst spider/4.0″,可以为它颁个“占名为王”奖。
360搜索:360Spider
有道:YoudaoBot
神马:YisouSpider
头条:Bytespider
MJ12bot:MJ12bot
yandex:YandexBot
宜搜:EasouSpider
瑞典:Speedy Spider
华为赛门铁克蜘蛛:HuaweiSymantecSpider
MSN:msnbot
俄罗斯LinkpadBot:LinkpadBot
AhrefsBot:AhrefsBot
华为花瓣蜘蛛:petalbot
SemrushBot:SemrushBot
360好搜蜘蛛:HaoSouSpider
以上搜索引擎蜘蛛,现在需要重点关注:百度:baiduspider、谷歌:googlebot、必应:bingbot、搜狗:Sogou web spider、360搜索:360Spider 或 360好搜蜘蛛:HaoSouSpider、神马:YisouSpider、头条:Bytespider,因为它们的市场份额较大
所以:作为一名站长非常有必要学会和养成分析IIS日志的良好习惯,在日志里我们可以一目了然的看到,哪些搜索引擎蜘蛛(机器人)访问了我们的网站,具体抓取了哪些页面,以及返回来的状态码如何(比如200表示访问正常、304代表自从上次请求后所请求的网页未修改过、404则代表服务器找不到请求的网页)等多方面的情况。只有当我们对这些充分了解了之后,才能有的放矢加以改进和完善,对于增加我们网站关键词的排名是非常有裨益的。

王朝235网址导航版权声明:

1、本文系转载,版权归原作者所有,旨在传递信息,不代表看本站的观点和立场。

2、本站仅提供信息发布平台,不承担相关法律责任。

3、若侵犯您的版权或隐私,请联系本站管理员删除。

4、若文章存在违法信息,请举报