1,只管首页,内页不做处理;
2,首页通过后台脚本判断UA,如果不是爬虫就返回503之类的代码。
3,如果网站有cookie或登录机制,可以判断是否为回访或者已登录状态,予以放行。

UA判断的PHP代码:https://github.com/serbanghita/Mobile-Detect
一般不会搭梯子的。