V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
herozzm
V2EX  ›  问与答

求分享阿里和腾讯云 ip 段,发现这些云上面太多的 bot 爬虫,要封掉它们

  •  
  •   herozzm · 2021-08-10 14:19:38 +08:00 · 1555 次点击
    这是一个创建于 961 天前的主题,其中的信息可能已经有所发展或是发生改变。

    或者求运营同学的爬虫 ip 黑名单谢谢

    8 条回复    2021-08-11 14:27:53 +08:00
    DavZhn
        1
    DavZhn  
       2021-08-10 18:15:02 +08:00
    0.0.0.0/0
    DavZhn
        2
    DavZhn  
       2021-08-10 18:15:33 +08:00
    然后再搞个白名单
    Foxkeh
        3
    Foxkeh  
       2021-08-10 18:47:08 +08:00
    你看是不是要的这个 http://as.chacuo.net/company
    DT27
        4
    DT27  
       2021-08-10 19:09:18 +08:00
    分享个我自己的垃圾屏蔽规则
    #禁垃圾蜘蛛
    if ($http_user_agent ~* "YandexBot|DotBot|SeznamBot|SemrushBot|YisouSpider|serpstatbot|Bytespider|TinEye-bot|WordPress|Datanyze|woorankreview|CCBot|BPImageWalker|SabsimBot|MJ12bot|SEOkicks|SlurpChina|1subscribers|DomainStatsBot|Qwantify|AhrefsBot") {
    return 400;
    break;
    }

    #禁部分爬取工具
    if ($http_user_agent ~* "crawl|curb|git|Wtrace|Scrapy|python-requests|Go-http-client|python-requests" ) {
    return 400;
    break;
    }

    #禁特殊后缀
    location ~* \.(asp|aspx|ashx|htaccess|ini|env|git|project|cgi|java|action|jsp|cfg|tpl|sql)$ {
    return 400;
    break;
    }
    herozzm
        5
    herozzm  
    OP
       2021-08-10 22:53:54 +08:00
    @DavZhn 不行的 网址还是要给陌生人看的

    @DT27 这是封锁 user_agent 啊,我遭遇的爬虫都是 win10 chrome 的特征,封了就变
    @Foxkeh 没看到阿里云,腾讯云,亚马逊云,甲骨文云,google 云,微软云这些 ip 段,实际上这些爬虫都是不是在这些云上
    leoking6
        6
    leoking6  
       2021-08-11 09:08:22 +08:00 via iPhone
    套 cf,源站给 cf 的 ip 白名单,再设置 cf 的防火墙规则,比如高威胁分数要求验证
    cydian
        7
    cydian  
       2021-08-11 12:53:16 +08:00
    查 ip whois 。根据公司反查整个公司注册的段。然后全部段拉黑。
    FlyingShark
        8
    FlyingShark  
       2021-08-11 14:27:53 +08:00
    查 as 号,阿里云 IP 段封了

    套 cf,国外 IP 威胁分数高的要验证。国内家宽 IP 早被艹烂了,就算了吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5923 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 02:06 · PVG 10:06 · LAX 19:06 · JFK 22:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.