技术知识分享

SemrushBot是什么爬虫?能不能屏蔽

腾讯云双11活动

SemrushBot,是什么爬虫?能不能屏蔽。最近有一波SemrushBot蜘蛛,天天访问小白的两个站点。搜索了下原来又是一个国外的SEO分析爬虫。如果你的站点面对的是国内客户,完全可以直接屏蔽。

User-Agent:

Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)

已知IP地址:
46.229.168.151,应该不止这个,建议直接/24屏蔽

未经允许不得转载:pc6a学习分享 » SemrushBot是什么爬虫?能不能屏蔽
阿里云双11活动

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址