V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ufo22940268
V2EX  ›  程序员

各位 spark 上用的语言是 Python 还是 scala

  •  
  •   ufo22940268 ·
    ufo22940268 · 2017-11-28 07:08:04 +08:00 · 20475 次点击
    这是一个创建于 1677 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我们用的是 Python,但是 python 上还是少了一些功能,比如说 udaf

    想问下大家用的是哪个语言,有没有必要从 python 切换到 scala

    第 1 条附言  ·  2017-12-07 15:37:08 +08:00
    用了一段时间 scala 之后觉得对我来说从 python 切换到 scala 是明智的决定
    35 条回复    2020-03-11 15:03:14 +08:00
    echo1937
        1
    echo1937  
       2017-11-28 07:16:28 +08:00 via iPhone
    用的 Java,学习 Scala 的成本有点高
    tinybaby365
        2
    tinybaby365  
       2017-11-28 07:18:04 +08:00 via iPhone
    Scala,越用越喜欢
    ihainan
        3
    ihainan  
       2017-11-28 07:29:42 +08:00 via Android
    Scala。
    anjunecha
        4
    anjunecha  
       2017-11-28 07:39:43 +08:00 via iPhone
    python 和 java 都有,想学 Scala
    kuroismith
        5
    kuroismith  
       2017-11-28 07:41:19 +08:00
    我们用的 kotlin, scala 学习成本太高了
    kotlin 非常容易上手, 写起来至少有 scala 8 成体验
    teloti
        6
    teloti  
       2017-11-28 07:46:42 +08:00 via iPhone
    python+spark 有性能问题,java 和 Scala 靠谱一些,Scala 是 spark 标配
    knightdf
        7
    knightdf  
       2017-11-28 09:58:31 +08:00
    必须 scala, 再怎么也得 java,不会选择 python
    burnex
        8
    burnex  
       2017-11-28 10:00:17 +08:00
    网上看大家都用 scala,就用的 scala
    lianxiaoyi
        9
    lianxiaoyi  
       2017-11-28 10:54:41 +08:00
    python 最简单。。。所以用的 python。。。。。
    wusuopuBUPT
        10
    wusuopuBUPT  
       2017-11-28 11:22:23 +08:00
    Scala,可以用最新的 feature
    bnbvb
        11
    bnbvb  
       2017-11-28 11:40:52 +08:00
    python 可以,听了前两天 java 迭代计划,新的 feature 出的会比以前快多了,而就新公布的语法糖来看,会跟 scala 之类的语言越长越像(chao de kuai),学习 scala 动力不足了。
    90928yao
        12
    90928yao  
       2017-11-28 12:08:36 +08:00
    @kuroismith kotlin 还是用的 JAVARDD 把,还是有点蹩脚把
    bramblex
        13
    bramblex  
       2017-11-28 12:13:14 +08:00   ❤️ 1
    被 Haskell 虐过的表示...
    楼上说学 scala 学习成本高?
    ufo22940268
        14
    ufo22940268  
    OP
       2017-11-28 12:37:49 +08:00 via iPhone
    @bnbvb 能不能发个链接给我
    bigknife
        15
    bigknife  
       2017-11-28 13:35:18 +08:00   ❤️ 1
    首选 Scala !

    如果把 Scala 当作 Better Java 其实学起来并不难,仅仅是一些语法上的变换,一旦学会了 Scala 的语法以后,再也不想写 Java 代码了,然后真的理解了为什么那么多人说 Java 非常啰嗦!

    如果把编程范式一起也变了(命令式 -> 函数式),那还是有一定难度的,关键是思想的改变,推荐 Scala 的红宝书《 Functional Programming in Scala 》,https://www.manning.com/books/functional-programming-in-scala 网上也有英文的 pdf 版本,国内有一个翻译版,英文好的同学建议看英文版,因为有些东西翻译过来后,感觉怪怪的,不容英文容易懂。

    另外我们团队有一个分享视频集合,对大家学习 Scala 有帮助:
    ?spm=a2hzp.8244740.0.0&f=51304613 如果大家发现里面有什么错误可以跟我交流:bigknife AT outlook.com
    bigknife
        16
    bigknife  
       2017-11-28 13:39:31 +08:00
    @bramblex 学会 Haskell,走遍天下都不怕,上通 Scala,下探 Rust
    hwsdien
        17
    hwsdien  
       2017-11-28 13:49:09 +08:00
    scala
    wilsonwen
        18
    wilsonwen  
       2017-11-28 13:59:50 +08:00 via Android
    人生苦短,我用 scala
    Todd_Leo
        19
    Todd_Leo  
       2017-11-28 14:14:46 +08:00
    写了几年 Scala 之后再写 Python 感觉动态类型语言随时都是心惊肉跳...
    linuxchild
        20
    linuxchild  
       2017-11-28 14:28:12 +08:00
    最近开始写 spark,前两天看同时写了一下午 Scala,然后发现有点问题,和我之前写的 python 程序做一下对比,发现 py 2 行就搞定了,他有一些崩溃……

    不过我还是开始学习 Scala 了
    90928yao
        21
    90928yao  
       2017-11-28 14:39:05 +08:00
    @linuxchild scala 那 2 行肯定也可以。。。
    linuxchild
        22
    linuxchild  
       2017-11-28 15:42:12 +08:00
    @90928yao 发现打错字了,应该是 看同事。

    哈哈,数了数,好像也没超过 10 行。

    没接触过 Scala 和 Java 还是觉得好复杂啊 Orz
    lszxlong
        23
    lszxlong  
       2017-11-28 16:19:04 +08:00
    必须 scala,好像 scala 语言排名下降了..
    90928yao
        24
    90928yao  
       2017-11-28 16:27:24 +08:00
    @linuxchild 感觉 scala 算是最复杂的语言之一了
    secondwtq
        25
    secondwtq  
       2017-11-28 16:28:41 +08:00
    @bigknife 学会 Haskell 还真不一定能通 Scala ...
    https://zhuanlan.zhihu.com/p/27610478 来看这个
    owenliang
        26
    owenliang  
       2017-11-28 18:17:30 +08:00 via Android
    大数据生态基本不离开 jvm,逼你上船。
    bnbvb
        27
    bnbvb  
       2017-11-28 18:25:31 +08:00
    bnbvb
        28
    bnbvb  
       2017-11-28 18:31:16 +08:00
    Comdex
        29
    Comdex  
       2017-11-28 22:11:48 +08:00
    java
    SlipStupig
        30
    SlipStupig  
       2017-11-28 22:25:14 +08:00
    python 跑 spark 巨难用,前段时间用 spark 读写 es, python 连 API 都没有
    gyf304
        31
    gyf304  
       2017-11-29 11:31:45 +08:00
    scala. scala 比 python 效率高 如果要用 graphX 的话只能用 scala
    lzhCoooder
        32
    lzhCoooder  
       2017-11-29 12:25:47 +08:00
    pyspark 阉割版啊
    xiaoshenke
        33
    xiaoshenke  
       2017-11-29 15:38:32 +08:00
    有什么区别,不还是 spark。。。。。。。。。
    swordspoet
        34
    swordspoet  
       2019-04-17 22:14:52 +08:00
    Scala 给人的感觉就是这也可以,那也可以。
    ivanchou
        35
    ivanchou  
       2020-03-11 15:03:14 +08:00
    楼主能讲讲 Scala 相比于 python 的优势在哪里么?同时为什么 pass 掉了 java。在我看来写 spark 程序,scala、java 都跑在 jvm 上,差别会很大?
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1012 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 21:41 · PVG 05:41 · LAX 14:41 · JFK 17:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.