dtgxx
V2EX  ›  问与答

请教下 azkaban 执行 spark 任务的 jobtype 配置问题

  •  
  •   dtgxx · Oct 22, 2020 · 663 views
    This topic created in 2049 days ago, the information mentioned may be changed or developed.

    有没有大佬遇到过用 azkaban 执行 spark on yarn 任务的时候,配置了 azkaban-job 的参数 execution-jar 的地址之后,azkaban 识别不了的情况。


    我配置的是
    execution-jar=hdfs:///spark-jar/test/spark_20201019105827.jar 或者 execution-jar=/data/test/spark_20201019105827.jar 都不行


    打印的错误是

    java.lang.Exception: Job set up failed: execution jar is suppose to be in this folder, but the folder doesn't exist:/apps/azkaban/azkaban-exec-server/build/install/azkaban-exec-server/bin/executions/63/hdfs:///spark-jar/test


    azkaban 会把我 hdfs 或者本地路径加一个前缀,前缀就是 azkaban-exec 的安装位置。。。 弄了 2 天还是没结果。。大佬们有没有啥好的建议,感谢感谢!

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1015 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 63ms · UTC 22:31 · PVG 06:31 · LAX 15:31 · JFK 18:31
    ♥ Do have faith in what you're doing.