咨询一个 mysql 两个表更新同步到 es 的问题

[op1sreal]

mysql 有两个表 article 和 articlecontent,两个表有关联,但不会同步变更,两个表的变更也互不影响,需求是使用 flink 整合两个表(join)为一个大宽表保存到 es,希望任何一个表变更时 es 都能同步变更,问下 flinkcdc+双流 join 如何能处理这种场景呢?两个表都不是很大,形成两个动态表是不是可以?或者是不是 flinkapi 写更方便一些?目前没有 redis 和 hbase,怎么样既能满足实时性,又可以不对 mysql 造成压力?谢谢大家

[iamzcr]

找监听 binlog 的插件去监听变更，让插件直接同步到就到消息中间件

监听插件推荐使用 debezium ，支持监听多种数据库的变更日志到 kafka ，再消费到对应的下游，目前再用，暂时没发现有什么问题 https://github.com/debezium/debezium

[iamzcr]

@iamzcr 宽表在消费端做清洗，而且后面想换 OLAP 的时候，可以平滑去切换，只需要处理消费端的东西就好了。

[totoro52]

debezium 或者 canal ，canal 速度更快一点也灵活一点，另外如果你上了 es ，就不用考虑实时性这个问题了，因为 es 本身就是准实时的，伪命题了， 你如果对查询实时性要求非常高的场景，这套方案肯定不行的，如果你是做准实时性检索那就没啥问题。