最好是能彻底阻拦
感觉软性的robots.txt还不够,可能还会被抓
除了ban bot 的useragent(它可能用普通useragent抓,不一定灵
用上js+cookie跳转就能彻底阻止么
如果搜索引擎模拟浏览器抓呢
望大佬不吝解答 谢谢~~~
共有 10 条评论,登录后可见