技术知识分享

MJ12bot是什么爬虫?能不能屏蔽

腾讯云双11活动

MJ12bot是什么爬虫?能不能屏蔽。最近小白是跟这些垃圾爬虫杠上了,网站本来就没几个流量。这些没用的爬虫蜘蛛缺天天在刷我的宽带。这个爬虫还挺大胆的直接在User-Agent里写了他们的官网,http://mj12bot.com。打开官网一看自称是英国的搜索蜘蛛,国内用户默默把它屏蔽吧。真是没啥用的爬虫。

官网写了他们遵循robots.txt,可以修改robots.txt禁用。具体方法,添加以下代码即可

User-agent: MJ12bot
Disallow: /

目前我遇到的MJ12bot User-Agent:

Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)

IP地址:13.82.25.35

也可以使用宝塔的Nginx防火墙UA规则添加MJ12bot即可屏蔽。

未经允许不得转载:pc6a学习分享 » MJ12bot是什么爬虫?能不能屏蔽
阿里云双11活动

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址