王朝235网址导航
立即发布
当前位置:首页 > 建站经验 > 正文
文章资讯分类

MJ12bot蜘蛛是什么爬虫,怎么屏蔽

  • 时间:2022-09-19
  • 作者:王朝235导航
  • 阅读:7 次

MJ12bot是一个来自英国网络营销公司的搜索引擎蜘蛛,这个搜索引擎名称叫做:Majestic。这家公司的搜索引擎主要是用来绘制互联网地图的,然后用这个互联网地图数据来为企业提供互联网营销数据服务。所以对国内用户没什么用,选择屏蔽即可。

MJ12bot蜘蛛是什么爬虫,怎么屏蔽

MJ12bot也是一个宣称自己遵守robots规则的爬虫,但小编我实测他还是无视了,国外的这种爬虫真的是不讲武德。

所以还是双管齐下。

1、robots文件屏蔽

User-agent: MJ12bot
Disallow: /
2、NG等服务器规则屏蔽

if ($http_user_agent ~*  "MJ12bot" )
{
      return 403;
}
网上看很多人说是遵循robots规则的,但我一个站昨天就屏蔽了,今天9点多还在爬,所以还是直接服务器规则屏蔽来的直接。

王朝235网址导航版权声明:

1、本文系转载,版权归原作者所有,旨在传递信息,不代表看本站的观点和立场。

2、本站仅提供信息发布平台,不承担相关法律责任。

3、若侵犯您的版权或隐私,请联系本站管理员删除。

4、若文章存在违法信息,请举报