王朝235网址导航
立即发布
当前位置:首页 > 建站经验 > 正文
文章资讯分类

DataForSeoBot是什么蜘蛛 爬虫,怎么屏蔽

  • 时间:2022-09-19
  • 作者:王朝235导航
  • 阅读:7 次

最近安装了蜘蛛分析插件,发现了DataForSeoBot这个蜘蛛,每天爬几百上千的页面,搜了搜,是一个国外的seo运营公司的蜘蛛,换句话说,就是DataForSeoBot爬虫采集的数据是提供给众多SEO从业人士的,这些数据可以被用作SEO竞争分析、SEO软件开发、市场调查、甚至网络推广等方面。也就是说,对于被抓取的网站本身来说,无任何价值,甚至有数据被采集的负面影响。

DataForSeoBot是什么蜘蛛 爬虫,怎么屏蔽

这还有啥说,果断屏蔽啊!

怎么屏蔽DataForSeoBot蜘蛛?

官网宣称DataForSeoBot爬虫支持robots.txt协议,但其实这货不怎么守规矩,robots.txt禁止以后,还爬的飞起。

所以建议需要屏蔽这个蜘蛛的,两手抓:

1、robots.txt协议禁止爬取

User-agent: DataForSeoBot
Disallow: /
2、通过修改Nginx或其它WEB服务器规则禁止抓取

if ($http_user_agent ~*  "DataForSeoBot/1.0" )
{
      return 403;
}
3、通过禁止蜘蛛IP方式禁止访问

这个办法不推荐,蜘蛛IP有不少,还会新增改变,很难全部禁止掉。

总结:禁止DataForSeoBot爬虫最佳办法就是直接在服务器规则里面禁止,效果最好。

王朝235网址导航版权声明:

1、本文系转载,版权归原作者所有,旨在传递信息,不代表看本站的观点和立场。

2、本站仅提供信息发布平台,不承担相关法律责任。

3、若侵犯您的版权或隐私,请联系本站管理员删除。

4、若文章存在违法信息,请举报