想爬一个10亿页面的站，求大婶指点

总有刁民想害朕 · 发表于 2017-10-24 16:33:42

主要是，超过三百线程就会目标就会极慢极卡各种超时，502，内部错误，(超时设置的20秒)，求大婶指点怎么搞速度又快又好

liceen · 发表于 2017-10-24 21:08:00

建议直接联系站长，告诉他如果你不把数据给我我就开300线程爬死你

robit · 发表于 2017-10-24 16:34:40

多台vps爬然后合并

总有刁民想害朕 · 发表于 2017-10-24 16:37:06

robit 发表于 2017-10-24 16:34
多台vps爬然后合并

一个vps开100线程，三个vps一起搞，跟一个vps开300线程搞，基本效果一样吧。。。

蝴蝶 · 发表于 2017-10-24 16:38:20

爬死了

magickey · 发表于 2017-10-24 16:43:16

10亿页面？那得多大的站

小妹妹来吃鸡吧 · 发表于 2017-10-24 16:49:22

这是在爬Google吗？线程太多，爬死了吧？

dream7758521 · 发表于 2017-10-24 16:59:04

提示: 作者被禁止或删除内容自动屏蔽

大风起 · 发表于 2017-10-24 18:47:28

提示: 作者被禁止或删除内容自动屏蔽

jbiao520 · 发表于 2017-10-24 18:59:38

lz怎么做的反爬策略

EIZOFANS · 发表于 2017-10-24 19:20:23

对方都被爬死了，你还要怎么的？？？没秒封你IP，没有给各种图片验证已经是很给你面子了，你还不赶快买台神威系列的主机给对方送过去？？？对方上线新主机之后，你就可以愉快的爬了

		自动登录	找回密码
密码			注册