全球主机交流论坛

标题: 想爬一个10亿页面的站，求大婶指点 [打印本页]

作者: 总有刁民想害朕 时间: 2017-10-24 16:33
标题: 想爬一个10亿页面的站，求大婶指点
主要是，超过三百线程就会目标就会极慢极卡各种超时，502，内部错误，(超时设置的20秒)，求大婶指点怎么搞速度又快又好

作者: robit 时间: 2017-10-24 16:34
多台vps爬然后合并

作者: 总有刁民想害朕 时间: 2017-10-24 16:37

robit 发表于 2017-10-24 16:34
多台vps爬然后合并

一个vps开100线程，三个vps一起搞，跟一个vps开300线程搞，基本效果一样吧。。。

作者: 蝴蝶 时间: 2017-10-24 16:38
爬死了

作者: magickey 时间: 2017-10-24 16:43
10亿页面？那得多大的站

作者: 小妹妹来吃鸡吧 时间: 2017-10-24 16:49
这是在爬Google吗？线程太多，爬死了吧？

作者: dream7758521 时间: 2017-10-24 16:59
提示: 作者被禁止或删除内容自动屏蔽

作者: 大风起 时间: 2017-10-24 18:47
提示: 作者被禁止或删除内容自动屏蔽

作者: jbiao520 时间: 2017-10-24 18:59
lz怎么做的反爬策略

作者: EIZOFANS 时间: 2017-10-24 19:20
对方都被爬死了，你还要怎么的？？？没秒封你IP，没有给各种图片验证已经是很给你面子了，你还不赶快买台神威系列的主机给对方送过去？？？对方上线新主机之后，你就可以愉快的爬了

作者: bbqbbqtt 时间: 2017-10-24 19:22

楼主是晒如何怕死一个站点吧

作者: EIZOFANS 时间: 2017-10-24 19:24
不过对于一个10个页面以上的网站，连300个线程都扛不住的话，如果不是优化太差，就是用的10多刀那种VPS了，找出目标机房来，给管理员一点美刀，直接拷给你算了，免得浪费你挂机的电费

作者: EIZOFANS 时间: 2017-10-24 19:26

jbiao520 发表于 2017-10-24 18:59
lz怎么做的反爬策略

再牛的反爬，只要是要给观众看的，就能爬下来，无外乎代理池，cookie池再外加验证码自动识别（人肉）了

作者: 521vps 时间: 2017-10-24 19:28
降低线程数或者线程启动加个延迟试试

作者: 此号被封 时间: 2017-10-24 19:53
把对方爬死了这

作者: saiyadi 时间: 2017-10-24 19:57
10亿……不吹能死么老铁

作者: liceen 时间: 2017-10-24 21:08
建议直接联系站长，告诉他如果你不把数据给我我就开300线程爬死你

欢迎光临全球主机交流论坛 (https://4414.19990909.workers.dev/)