Docker博客55分钟前让爬虫搞崩溃重启，问下老司机怎么处理

sRGB

日志 部分
185.191.171.42 - - [13/Sep/2021:02:11:57 +0000] "GET /phpdoc/function.timezone-location-get.html HTTP/1.1" 200
1002 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +.semrush.com/bot.html)"
185.191.171.6 - - [13/Sep/2021:02:13:34 +0000] "GET /hexo/2020/11/13/codeblocks/CodeBlocks_Debian/ HTTP/1.1" 200
4067 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +.semrush.com/bot.html)"
185.191.171.3 - - [13/Sep/2021:02:14:02 +0000] "GET /phpdoc/function.pg-get-result.html HTTP/1.1" 200
3033 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +.semrush.com/bot.html)"

爬虫网段  185.191.171.0 @摩尔多瓦摩尔多瓦



是良性跑虫，还是 恶意 DDOS ?
不管他随便他爬，反正Docker能自动重启   ?
屏蔽  185.191.171.0 @摩尔多瓦摩尔多瓦 网段 ?

skay

这要看频率, 1秒1次都好说, 整个1秒几百次的会是良性?

sRGB

h20 发表于 2021-9-13 11:26
不用docker就好了

使用docker好管理，限制CPU，崩溃能自动重启

乌拉擦

现在爬虫好多

小白鸡

semrush直接屏蔽吧，这是个爬数据给客人做分析用的第三方分析平台...
直接在Nginx或者其它工具里屏蔽user agent