比较成熟的防采集一般都是用cdn来防,比如腾讯系的一般都是腾讯cdn,国外的就是cf 这些方法一般都有用,不过采集者要是较真的话,非要采集你的站,你还真防不住
- 美国VPS综合讨论
- 美国VPS综合讨论**[gougou6423 发表于 2019-3-19 22:14](https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=6485807&ptid=531326) 比如我自用的proxy代理池,全靠爬取网上免费的代理IP,现在大概有15W可用的代理IP,量够大吗? ...** 那种代理可用
- 美国VPS综合讨论基站IP只有一个,然后真正爬虫加个代理池不是很正常的操作。个人感觉比较好的反爬是用js加载网页,可以挡住很大一部分爬虫,剩下用selenium之类的,效率也会低很多
- 美国VPS综合讨论
- 美国VPS综合讨论
- 美国VPS综合讨论
- 美国VPS综合讨论**[Lish 发表于 2019-1-25 15:47](https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=6320144&ptid=517321) ${code} 里 code 不一定是固定的,** '\${.*?}'
- 美国VPS综合讨论
- 美国VPS综合讨论
- 美国VPS综合讨论
- 美国VPS综合讨论
- 美国VPS综合讨论这个网站我有参与,服务器其实还好,每个月不到1000,而且几个朋友平摊的,真要说的话,这个就是个公益项目,没什么付费,盈利不存在的,随缘赞助,赞助了和普通用户也是一样的。所以,不要光想怎么盈利了,纯公益项目,从今年3月网站成立到现在,收到了百来块的赞助而已,与服务器成本差远了。
- 美国VPS综合讨论
- 美国VPS综合讨论
- 美国VPS综合讨论**[我y零kk 发表于 2018-11-25 15:14](https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=6062688&ptid=496191) 顶一下。。。紫薯布丁** 谢谢帮顶,紫薯布丁
- 美国VPS综合讨论**[vps1 发表于 2018-11-25 10:53](https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=6061159&ptid=496191) 群号多少啊,直接发啊** 链接被吞了。。。,补上群号了
- 美国VPS综合讨论
- 美国VPS综合讨论
- 美国VPS综合讨论**[gougou6423 发表于 2018-11-19 22:02](https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=6030555&ptid=492640) 绑定paypal好说,是不是提示你无法预核准什么的,这是你paypal被风控了,如果英语好的话,直接电话paypal客 ..
- 美国VPS综合讨论**[天生要强 发表于 2018-11-7 13:30](https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=5978116&ptid=488841) 起码2k吧** 我觉得起码得5k
- 美国VPS综合讨论* 本帖最后由 gougou6423 于 2018-11-7 14:37 编辑 * python3的,需要先 pip install requests - THREAD = 10 #线程数 - LINK_PATH = 'link.txt' #保存链接的文件 - - import concurrent.futures - import time - impor
- 美国VPS综合讨论**[leassy 发表于 2018-11-5 11:05](https://hostloc.com/forum.php?mod=redirect&goto=findpost&pid=5969910&ptid=488176) steam有游戏机吗**  有游戏,自卑机Ps4买回来3年一直吃灰
- 美国VPS综合讨论[\u4e00-\u9fa5]*?[,。 ;][\u4e00-\u9fa5]*?[,。 ;][\u4e00-\u9fa5]*?[,。 ;][\u4e00-\u9fa5]*?[,。 ;]
- 美国VPS综合讨论* 本帖最后由 gougou6423 于 2018-11-2 03:47 编辑 * 半夜撸了个代码,测试了半天不同去重方法的效率,找到的效率最高的方案思路应该和你说的第二个差不多,你列的第二个效率低是因为它在循环里不停的print,正常来讲这个速度应该非常快 用了一个120M的txt文件测试,重复率差不多是90%,从开始读取原文件到最终写好去重文件用了4.5
- 美国VPS综合讨论
- 美国VPS综合讨论美西带v6的服务器就行,不然直接加he隧道也可以,国内的v6太贵了,玩不起的
- 美国VPS综合讨论vultr digitalocean linode都提供V6,另外用he的tunnelbroker也可以呀,速度也很快的
- 美国VPS综合讨论
- 美国VPS综合讨论
- 美国VPS综合讨论