V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
cnoder
V2EX  ›  问与答

如何保证 udp 的可靠性

  •  
  •   cnoder · 2021-06-01 18:58:50 +08:00 · 1065 次点击
    这是一个创建于 1031 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我们目前用的 openresty,在 log_by_lua 阶段使用 udp 发送日志到日志中心。
    但是现在丢日志有的业务能达到 50%,这可能取决于接受日志的机器的处理能力。
    那我们现在如何保证 udp 发送的可靠呢,不希望监听接收 ask 或者换 tcp ( log_by_lua 阶段好像不让用 tcp ?刚学 lua )
    或者最少实现我们如何统计丢包率呢(不要耗时太长~~)(之前说的 50%都是同事估的)

    第 1 条附言  ·  2021-06-01 20:20:25 +08:00
    收到收到,多谢大家的思路(围绕 ack 不太想用,好像没办法不用)我。</br>还有,我们现在日志很多,每天几个 T (几个我忘了)。</br>那怎么增加接受日志的应用层的处理能力(集群?)和日志可视系统用啥呢(之前上 elk 秒崩),也希望大佬们多说说~~
    12 条回复    2021-06-01 22:45:01 +08:00
    cpstar
        1
    cpstar  
       2021-06-01 19:00:49 +08:00
    UDP 本身不就是不可靠的,换 TCP 吧
    ic2y
        2
    ic2y  
       2021-06-01 19:04:30 +08:00
    quic ?
    GoLand
        3
    GoLand  
       2021-06-01 19:05:06 +08:00
    发送方打点,接收方打点,两个数值做个比对就能得到丢包率。
    dynastysea
        4
    dynastysea  
       2021-06-01 19:14:25 +08:00
    加 seq 确认,你去搜搜可靠 udp 的实现,大把的现成方案,也不复杂。很多游戏都是采取了可靠 udp 的方案,典型如王者
    Vhc001
        5
    Vhc001  
       2021-06-01 19:17:58 +08:00
    建议楼主看一看 h3 的设计原理
    opengps
        6
    opengps  
       2021-06-01 19:19:29 +08:00
    设计通信协议时候带上确认回复,没被确认的发送都可能是丢了的
    xmh51
        7
    xmh51  
       2021-06-01 19:24:47 +08:00
    这个和 udp 好像关系不大,在内网环境,udp 的不可靠应该不会成为主要原因,问题在于你的应用层(请求和处理)性能过低
    ju5t4fun
        8
    ju5t4fun  
       2021-06-01 19:39:00 +08:00
    套一层 kcp 协议
    ryd994
        9
    ryd994  
       2021-06-01 20:01:46 +08:00 via Android
    没用过 log_by_lua 。但是看官方文档的意思应该是可以用 TCP 的。https://github.com/openresty/lua-nginx-module#log_by_lua
    实在不行也可以写个 UDP 转发数据到 TCP 的代理程序,在每台服务器上运行。说不定已经有实现了。
    再不行的还有基于 TCP 的各种 VPN 协议。配置路由表只代理日志服务就好了。
    ryd994
        10
    ryd994  
       2021-06-01 20:05:13 +08:00 via Android
    不监听 ack 怎么实现可靠传输?总得有人帮你干这个活。你这是用来做日志,那不希望阻塞影响 Nginx 性能可以理解。但是总得有人负责重传控制。
    本地的话其实也可以不用 UDP,用 unix socket,性能只会更好。然后自己写个代理程序把 unix socket 转发到 TCP 日志服务器就行了。
    cnoder
        11
    cnoder  
    OP
       2021-06-01 20:14:09 +08:00
    @xmh51 是这样,每天几个 T,接受消息的应用层顶不住了
    xmh51
        12
    xmh51  
       2021-06-01 22:45:01 +08:00
    @cnoder 所以重点不在于搞 udp 的可靠性,而是解决应用层的问题,比如可以水平拆分日志中心
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2872 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 15:20 · PVG 23:20 · LAX 08:20 · JFK 11:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.