google 了一下好像没什么成熟的解决方案,想问问各位大佬有没有什么推荐的?
1
imherer 2022-01-06 10:11:32 +08:00
需要实时么? 不需要的话定时同步就好了,clickhouse 批量写比单条写性能还要好一些
|
2
yingsunwl 2022-01-06 10:12:09 +08:00
离线:datax ,实时:canal+flink
|
5
1point 2022-01-06 10:18:34 +08:00
mysql 物化视图就可以吧,不过还没有 GA
|
6
1point 2022-01-06 10:20:12 +08:00
说错了,叫物化 mysql (materialized-mysql)
|
7
CRUD 2022-01-06 10:23:43 +08:00
实时增量同步推荐 canal ,我是用它同步到 ES ,适配层自己处理一下写到 clickhouse 即可。
|
8
hj24 2022-01-06 10:25:53 +08:00
flink
|
10
duanyajuzi 2022-01-06 12:19:21 +08:00 via iPhone
我们用的 flink cdc
|
11
swulling 2022-01-06 12:26:40 +08:00
使用 mysql 的主从同步协议订阅 binlog ,然后转换为写入事件就行了。
这个有很多现成的库 |
12
lolizeppelin 2022-01-06 15:08:09 +08:00
技术名称 cdc
反正都是解析日志流丢到 kafaka 这样的实现 |
13
jenlors 2022-01-06 15:16:55 +08:00
|
14
liprais 2022-01-06 15:52:26 +08:00
debezium 写 kafka 那边随便找个啥消费完了往 ck 里写完事
|
15
xxxlester 2022-01-06 16:52:23 +08:00
debezium
|
16
clf 2022-01-06 17:52:03 +08:00
MySQL 有 binlog ,解析 binlog 同步到 clickhouse 就行了。
|
17
RedisMasterNode 2022-01-06 18:37:00 +08:00
debezium 一票,canal 社区活跃度超级低...
|
18
zibber 2022-01-07 11:29:24 +08:00
用 dts 自己消费到 clickhouse
|
20
labulaka521 2022-02-18 10:13:00 +08:00
我们这里是订单扫表,然后批量写入 clickhouse ,clickhouse 批量写性能好点
|