dtgxx
V2EX  ›  问与答

请教大佬们 datax 从 mongo 同步到 hdfs 速度慢的问题

  •  
  •   dtgxx · Oct 9, 2020 · 774 views
    This topic created in 2062 days ago, the information mentioned may be changed or developed.

    我有三台服务器 128g 内存 24 核 cpu


    其中一台是 mongodb,大约有 60 亿数据,我用另一台单机部署 datax,现在写了个脚本,从 mongodb 同步数据到 hdfs,hdfs 分布式部署在这三台机器上,速度非常慢,稳定在 800 条 /秒,我尝试修改 datax 的 speed 、channel 、byte 、record,效果都不佳。


    启动命令是 datax.py --jvm="-Xms8G -Xmx8G" mongo2hdfs.json 也调整过 8G 这个参数,也没效果,请问大佬们,这是为什么呢,这个速度正常吗?

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1015 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 22:31 · PVG 06:31 · LAX 15:31 · JFK 18:31
    ♥ Do have faith in what you're doing.