最好是能彻底阻拦

感觉软性的robots.txt还不够,可能还会被抓

除了ban bot 的useragent(它可能用普通useragent抓,不一定灵

用上js+cookie跳转就能彻底阻止么

如果搜索引擎模拟浏览器抓呢

望大佬不吝解答 谢谢~~~