V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
xiaopanzi
V2EX  ›  Hadoop

关于 Hadoop3 的 HADOOP_MAPRED_HOME

  •  
  •   xiaopanzi · Mar 21, 2021 · 2355 views
    This topic created in 1875 days ago, the information mentioned may be changed or developed.

    我比较了 Hadoop 2 和 Hadoop 3 的关于伪分布式的部署文档,其中一个区别是 Hadoop 3 要求设置mapreduce.application.classpath,而该值中使用了环境变量HADOOP_MAPRED_HOME

    实际上,我在没有手动设置HADOOP_MAPRED_HOME的情况下,里面的 example 还是能够正常运行。所以 Hadoop 内部是如何得到HADOOP_MAPRED_HOME的默认值的?

    此外,即使是在 Hadoop 2 中,配置文件里面也有mapreduce.application.classpath这个属性,只是文档里面没有让设置。那么,究竟是什么场景下需要用到这个值?

    2 replies    2021-05-07 17:29:39 +08:00
    e583409
        1
    e583409  
       Mar 22, 2021
    我本地 mac 电脑和线上 3 台服务器配置 给你参考一下:
    <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOP_HOME}</value>
    </property>
    <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    xiaopanzi
        2
    xiaopanzi  
    OP
       May 7, 2021
    @e583409 多谢回复。我只是好奇:Hadoop 内部是如何得到 HADOOP_MAPRED_HOME 的默认值的?它是否必须?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3440 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 10:42 · PVG 18:42 · LAX 03:42 · JFK 06:42
    ♥ Do have faith in what you're doing.