V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dollck
V2EX  ›  数据库

ESL 工具 kettle 导入 MySQL 千万级数据速度快速变慢

  •  
  •   dollck · 2023-01-25 01:47:30 +08:00 · 1364 次点击
    这是一个创建于 646 天前的主题,其中的信息可能已经有所发展或是发生改变。
    提前声明环境条件:
    Windows 11 Kettle Spoon
    java version "1.8.0_351"
    Java(TM) SE Runtime Environment (build 1.8.0_351-b10)
    MySQL8.0 (本地)
    800MB csv 文件 约 3000 万行数据
    表输出线程 x10
    使用连接池
    提交记录数量 10000
    useCompression true
    rewriteBatchedStatements true
    useServerPrepStmts false

    问题说明:
    使用 Kettle Spoon 向本地 MySQL 服务器导入 CSV 数据。启动转换后发现表输出速度骤降,30s 内从单线程处理速度 9000+降到 100+

    尝试措施:
    尝试过换成远程数据库,现象相同
    1 条回复    2023-01-25 12:24:22 +08:00
    opengps
        1
    opengps  
       2023-01-25 12:24:22 +08:00
    查一下导入过程磁盘的队列大小,队列大则可能已经触及性能上限了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1233 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 23:12 · PVG 07:12 · LAX 16:12 · JFK 19:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.