V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
monkeyWie
V2EX  ›  数据库

老哥们, mysql 同步到 clickhouse 有没有什么好的方案啊?

  •  
  •   monkeyWie · 2022-01-06 10:08:07 +08:00 · 2564 次点击
    这是一个创建于 1034 天前的主题,其中的信息可能已经有所发展或是发生改变。

    google 了一下好像没什么成熟的解决方案,想问问各位大佬有没有什么推荐的?

    第 1 条附言  ·  2022-01-06 17:23:22 +08:00
    更新下,老哥们给的方案都是属于比较底层的,预研和维护成本有点高,我想的方案是那种 UI 界面配置好就能同步的那种。后来还是决定用阿里的 DTS 同步,但是 DTS 不支持 mysql 到 clickhouse ,于是换成 mysql 同步到阿里云 ADB mysql ,也满足查询需求啦。
    20 条回复    2022-02-18 10:13:00 +08:00
    imherer
        1
    imherer  
       2022-01-06 10:11:32 +08:00
    需要实时么? 不需要的话定时同步就好了,clickhouse 批量写比单条写性能还要好一些
    yingsunwl
        2
    yingsunwl  
       2022-01-06 10:12:09 +08:00
    离线:datax ,实时:canal+flink
    monkeyWie
        3
    monkeyWie  
    OP
       2022-01-06 10:14:04 +08:00
    @imherer 嗯,要实时的
    monkeyWie
        4
    monkeyWie  
    OP
       2022-01-06 10:14:46 +08:00
    @yingsunwl #2 谢谢老哥,我等会研究下 canal
    1point
        5
    1point  
       2022-01-06 10:18:34 +08:00
    mysql 物化视图就可以吧,不过还没有 GA
    1point
        6
    1point  
       2022-01-06 10:20:12 +08:00
    说错了,叫物化 mysql (materialized-mysql)
    CRUD
        7
    CRUD  
       2022-01-06 10:23:43 +08:00
    实时增量同步推荐 canal ,我是用它同步到 ES ,适配层自己处理一下写到 clickhouse 即可。
    hj24
        8
    hj24  
       2022-01-06 10:25:53 +08:00
    flink
    monkeyWie
        9
    monkeyWie  
    OP
       2022-01-06 12:15:15 +08:00
    @hj24 #8 是不是用 flink-cdc-connectors 做
    duanyajuzi
        10
    duanyajuzi  
       2022-01-06 12:19:21 +08:00 via iPhone
    我们用的 flink cdc
    swulling
        11
    swulling  
       2022-01-06 12:26:40 +08:00
    使用 mysql 的主从同步协议订阅 binlog ,然后转换为写入事件就行了。

    这个有很多现成的库
    lolizeppelin
        12
    lolizeppelin  
       2022-01-06 15:08:09 +08:00
    技术名称 cdc

    反正都是解析日志流丢到 kafaka 这样的实现
    jenlors
        13
    jenlors  
       2022-01-06 15:16:55 +08:00
    liprais
        14
    liprais  
       2022-01-06 15:52:26 +08:00
    debezium 写 kafka 那边随便找个啥消费完了往 ck 里写完事
    xxxlester
        15
    xxxlester  
       2022-01-06 16:52:23 +08:00
    debezium
    clf
        16
    clf  
       2022-01-06 17:52:03 +08:00
    MySQL 有 binlog ,解析 binlog 同步到 clickhouse 就行了。
    RedisMasterNode
        17
    RedisMasterNode  
       2022-01-06 18:37:00 +08:00
    debezium 一票,canal 社区活跃度超级低...
    zibber
        18
    zibber  
       2022-01-07 11:29:24 +08:00
    用 dts 自己消费到 clickhouse
    hj24
        19
    hj24  
       2022-01-13 13:31:54 +08:00
    @monkeyWie clickhouse 也有专门的 connector 吧
    labulaka521
        20
    labulaka521  
       2022-02-18 10:13:00 +08:00
    我们这里是订单扫表,然后批量写入 clickhouse ,clickhouse 批量写性能好点
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3065 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 13:40 · PVG 21:40 · LAX 05:40 · JFK 08:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.