全球主机交流论坛

标题: Docker博客55分钟前让爬虫搞崩溃重启，问下老司机怎么处理 [打印本页]

作者: sRGB 时间: 2021-9-13 11:23
标题: Docker博客55分钟前让爬虫搞崩溃重启，问下老司机怎么处理

日志部分
185.191.171.42 - - [13/Sep/2021:02:11:57 +0000] "GET /phpdoc/function.timezone-location-get.html HTTP/1.1" 200
1002 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +.semrush.com/bot.html)"
185.191.171.6 - - [13/Sep/2021:02:13:34 +0000] "GET /hexo/2020/11/13/codeblocks/CodeBlocks_Debian/ HTTP/1.1" 200
4067 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +.semrush.com/bot.html)"
185.191.171.3 - - [13/Sep/2021:02:14:02 +0000] "GET /phpdoc/function.pg-get-result.html HTTP/1.1" 200
3033 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +.semrush.com/bot.html)"

爬虫网段 185.191.171.0 @摩尔多瓦摩尔多瓦

是良性跑虫，还是恶意 DDOS ?
不管他随便他爬，反正Docker能自动重启 ?
屏蔽 185.191.171.0 @摩尔多瓦摩尔多瓦网段 ?

作者: skay 时间: 2021-9-13 11:25
这要看频率, 1秒1次都好说, 整个1秒几百次的会是良性?

作者: h20 时间: 2021-9-13 11:26
提示: 作者被禁止或删除内容自动屏蔽

作者: sRGB 时间: 2021-9-13 11:32

h20 发表于 2021-9-13 11:26
不用docker就好了

使用docker好管理，限制CPU，崩溃能自动重启

作者: 乌拉擦 时间: 2021-9-13 11:39
现在爬虫好多

作者: 小白鸡 时间: 2021-9-13 12:17
semrush直接屏蔽吧，这是个爬数据给客人做分析用的第三方分析平台...
直接在Nginx或者其它工具里屏蔽user agent

欢迎光临全球主机交流论坛 (https://4414.19990909.workers.dev/)