王朝235网址导航
立即发布
当前位置:首页 > 建站经验 > 正文
文章资讯分类

AhrefsBot是什么蜘蛛,这个爬虫需要屏蔽吗

  • 时间:2022-09-19
  • 作者:王朝235导航
  • 阅读:7 次

AhrefsBot蜘蛛是一个比较常见的垃圾蜘蛛,它是Ahrefs网站的蜘蛛,而Ahrefs网站是国外一家比较有名的营销网站,也是大家做外贸网站SEO可能会用到的外链查询分析网站,对大部分网站来说都没什么用,所以我是选择屏蔽这个爬虫的。

AhrefsBot是什么蜘蛛,这个爬虫需要屏蔽吗

值得表扬的是AhrefsBot蜘蛛确实遵循robot协议,我昨天屏蔽的,今天就没有任何AhrefsBot爬虫的痕迹。

User-agent: AhrefsBot
Disallow: /
将以上代码添加到robot.txt文件里面即可很方便的屏蔽掉。

当然为了防止后期它哪一天不讲武德,还是附上通过修改Nginx或其它WEB服务器规则禁止抓取的代码:

if ($http_user_agent ~*  "AhrefsBot" )
{
      return 403;
}
禁止IP的做法我觉得没什么意义,IP变动太简单了。

王朝235网址导航版权声明:

1、本文系转载,版权归原作者所有,旨在传递信息,不代表看本站的观点和立场。

2、本站仅提供信息发布平台,不承担相关法律责任。

3、若侵犯您的版权或隐私,请联系本站管理员删除。

4、若文章存在违法信息,请举报