V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
chenfang
V2EX  ›  程序员

集群如何控制 QPS?

  •  
  •   chenfang · 23 小时 10 分钟前 · 1060 次点击

    比如目前有一个 tomcat 集群,我想控制所有 tomcat 请求一个 url 的频次是 10QPS

    我有想过 Sentinel,但是有点顾虑 一个是这个是阿里的东西 用过阿里的东西应该都有体会

    再有就是我搜了搜只有单机使用的方法,具体集群如何实现官方并没有给出可以用的代码,需要自己去实现高可用,只是说了一下方法

    有人用过 Sentinel 控制集群 QPS 么? 如何实现的? 性能如何?

    或者其他的比较成熟的方案也可以

    感谢

    15 条回复    2024-11-06 16:42:04 +08:00
    vus520
        1
    vus520  
       22 小时 56 分钟前
    在外面套一个网关,在网关上设置限制,更简单。
    securityCoding
        2
    securityCoding  
       22 小时 18 分钟前
    redis 写个 lua 限流脚本就好了,不要用太复杂的分布式限流方案
    cookii
        3
    cookii  
       22 小时 15 分钟前 via Android
    1. 套网关,网关通常有现成的实现
    2. 用 redis
    chenfang
        4
    chenfang  
    OP
       22 小时 13 分钟前
    @securityCoding 目前能想到 直接可以用的 就是这个了, 有试过性能如何么? 我们流量一天 60 亿, 当然也不是所有的都会去走限流
    chenfang
        5
    chenfang  
    OP
       22 小时 12 分钟前
    @cookii 网关我理解的是限制进来的请求, 再到里边的话 也可以用么?
    cookii
        6
    cookii  
       21 小时 54 分钟前 via Android
    @chenfang 外层限制了,里层就不用管了呗
    jov1
        7
    jov1  
       21 小时 45 分钟前
    假设这样一个场景,你的某个业务需要调用一个第三方接口,但是第三方接口有 QPS 限制,比如 20/每秒,
    但是你的服务是集群部署的,通过 guava 的令牌桶可以实现单机的 QPS 控制,比如 RateLimiter.create(20, 1, TimeUnit.SECONDS);
    如果部署 3 个集群,那么 QPS 最大可能为 60/每秒,这样就超过三方接口限制。
    那么这种情况可以拆分为如何将 20 合理的分配到 3 个集群上,简单点使用 xxl-job ,根据分片总数和当前分片序号,以及你需要限制的 QPS ,计算得到每个分片的大小,替换到令牌桶上就可以了。

    下面这个分配总数 count 就是你程序里面要定义的 qps 了。
    RateLimiter.create(count, 1, TimeUnit.SECONDS);

    ```
    public static void main(String[] args) {
    // xxl-jpb 返回集群分片信息
    ShardingUtil.ShardingVO shardingVO = ShardingUtil.getShardingVo();


    int totalSize = 20; //集群自己配置总的 qps
    int shardingTotal = shardingVO.getTotal(); // xxl-job 返回的当前分片总数
    int shardingIndex = shardingVO.getIndex(); // xxl-job 返回的当前分片序号

    int count = getShardingCount(totalSize, shardingIndex, shardingTotal);
    System.out.println("分片 " + shardingIndex + " 分配数量: " + count);
    }

    public static int getShardingCount(int totalSize, int shardingIndex, int shardingTotal) {
    int baseSize = totalSize / shardingTotal; // 每个分片的基本数量
    int remainder = totalSize % shardingTotal; // 余数部分

    // 前 remainder 个分片分配 baseSize + 1 个元素,之后的分片分配 baseSize 个元素
    return shardingIndex < remainder ? baseSize + 1 : baseSize;
    }
    ```
    securityCoding
        8
    securityCoding  
       21 小时 32 分钟前
    @chenfang #4 我这边基本用的腾讯云 redis,会有十几 ms 的耗时,有热点就扩分片完事
    ymy3232
        9
    ymy3232  
       21 小时 32 分钟前
    目前用的 Sentinel ,集群里 400+服务,服务器 CPU 负载不高没怎么关注 Sentinel 的影响,整体来看应该没啥影响,用它的目的是为了避免服务重启的时候直接被打爆起不来,目前来看效果一般,可能是没理解它的 warm-up 机制或者流量在到 Sentinel 之前就扛不住了。redis 、网关这些都考虑过,对于我们来说成本太大,Sentinel 几乎 0 成本
    xuanbg
        10
    xuanbg  
       20 小时 16 分钟前
    搞个网关,网关上实现限流,用令牌桶
    chenfang
        11
    chenfang  
    OP
       20 小时 2 分钟前
    @ymy3232 sentinel 用的是单机的方式么?
    zmaplex
        12
    zmaplex  
       19 小时 30 分钟前 via iPhone
    自己反代 API 啊 想怎么限流怎么限流 还能看情况定制缓存策略
    Yukineko
        13
    Yukineko  
       19 小时 29 分钟前
    Sentinel 还行,在阿里那堆东西里面属于还算比较好用的
    sujin190
        14
    sujin190  
       17 小时 16 分钟前
    那分享下之前做的项目吧: https://github.com/snower/jaslock-spring
    有令牌限流 TokenBucketFlow 实现,性能肯定够用,我们自己项目也再用

    非 spring 的原始 java driver: https://github.com/snower/jaslock

    需要用服务端: https://github.com/snower/slock 也支持高可用部署,支持多核,性能不够加内存加机器 cpu 核心就好了
    chutianyao
        15
    chutianyao  
       16 小时 55 分钟前
    分布式限流么, 一线厂家几乎都有自己的一套. 基本原理就是集群设定一个总的限流阈值,比如 1w qps, 然后根据当前的 pod 数量,计算每个 pod 的单机限流阈值. 比如 100 个 pod,那就是每个 pod 单机限流 100,然后下发给各 pod 就是了

    至于单机限流,无非就那么几种,滑动窗口、令牌桶、漏桶之类的,或者要求不高的直接用 guava 里的 ratelimiter
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5749 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 01:37 · PVG 09:37 · LAX 17:37 · JFK 20:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.