技术知识分享

标签:robots文件

MJ12bot是什么爬虫?能不能屏蔽-pc6a学习分享
小白建站

MJ12bot是什么爬虫?能不能屏蔽

小白评论(0)

MJ12bot是什么爬虫?能不能屏蔽。最近小白是跟这些垃圾爬虫杠上了,网站本来就没几个流量。这些没用的爬虫蜘蛛缺天天在刷我的宽带。这个爬虫还挺大胆的直接在User-Agent里写了他们的官网,http://mj12bot.com。打开官网一...

'); })();