怎么屏蔽蜘蛛~nginx 用过map 也判断过头部标识 返回444 但是每天还是一堆蜘蛛来爬 而且返回的是200....求破~~~~~~~~~~~~~~别说robots 这东西好像没几个遵守的...
共有 3 条评论,登录后可见