想爬一个10亿页面的站，求大婶指点

bbqbbqtt · 发表于 2017-10-24 19:22:05

楼主是晒如何怕死一个站点吧

EIZOFANS · 发表于 2017-10-24 19:24:11

不过对于一个10个页面以上的网站，连300个线程都扛不住的话，如果不是优化太差，就是用的10多刀那种VPS了，找出目标机房来，给管理员一点美刀，直接拷给你算了，免得浪费你挂机的电费

EIZOFANS · 发表于 2017-10-24 19:26:50

jbiao520 发表于 2017-10-24 18:59
lz怎么做的反爬策略

再牛的反爬，只要是要给观众看的，就能爬下来，无外乎代理池，cookie池再外加验证码自动识别（人肉）了

521vps · 发表于 2017-10-24 19:28:28

降低线程数或者线程启动加个延迟试试

此号被封 · 发表于 2017-10-24 19:53:57

把对方爬死了这

saiyadi · 发表于 2017-10-24 19:57:03

10亿……不吹能死么老铁

liceen · 发表于 2017-10-24 21:08:00

建议直接联系站长，告诉他如果你不把数据给我我就开300线程爬死你

		自动登录	找回密码
密码			注册