V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
exyrin
V2EX  ›  问与答

传统业务应用数据应该如何同步到阿里云的 maxcompute?

  •  
  •   exyrin · 2021-07-20 15:31:17 +08:00 · 509 次点击
    这是一个创建于 982 天前的主题,其中的信息可能已经有所发展或是发生改变。
    项目背景

    传统业务应用 使用的是 Oracle 数据库 单表 10 亿的订单数据 订单状态包含 20 个节点
    每日新增 150 万到 250 万的数据 数据插入 /更新次数大概 2500 万
    部门内决定使用阿里云的数据组件建设数据大屏 供业务运营提供数据决策
    已开通 datahub maxcompute 等组件

    现在遇到问题,存量数据及实时增量数据要如何同步到 datahub 及 maxcompute 上?
    由于业务应用不可能停机维护 数据表的插入与更新也不可能停 暂时没找到好办法实现数据同步
    (业务系统估计还要跑两三年 改造难度大)
    是否有同行前辈遇到过这种情况?
    3 条回复    2021-07-21 08:56:55 +08:00
    Morriaty
        1
    Morriaty  
       2021-07-20 15:44:01 +08:00
    在这里问,不如直接去阿里云提工单啊,买了他们服务,现在你们才是甲方爸爸
    exyrin
        2
    exyrin  
    OP
       2021-07-20 15:56:06 +08:00
    @Morriaty 也想参考下遇到类似情况的前辈是怎么处理的
    IITII
        3
    IITII  
       2021-07-21 08:56:55 +08:00 via Android
    流式,就行了,flink 啥的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4101 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 58ms · UTC 10:17 · PVG 18:17 · LAX 03:17 · JFK 06:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.