V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kingphar
V2EX  ›  程序员

有人做数据挖掘的吗

  •  
  •   kingphar · 2015-07-22 12:27:06 +08:00 · 3845 次点击
    这是一个创建于 3404 天前的主题,其中的信息可能已经有所发展或是发生改变。

    写世界最好语言的程序员想从事这个职位,需要什么条件,
    哦,我PYTHON也吊吊的

    貌似这个职位很多公司只招研究生。

    从事这个岗位的你,都做些什么?都需要会些什么?

    19 条回复    2015-07-22 21:16:22 +08:00
    taowen
        1
    taowen  
       2015-07-22 14:02:00 +08:00
    做 data scientist 没有研究生以上,和特别好的数学搞不出名堂的
    做 data engineer 就是码农了,无所谓了
    数据也只是一种工具,还是要和领域结合的。所以还有第三类人,产品经理和领域专家
    leemw
        2
    leemw  
       2015-07-22 14:06:29 +08:00 via Android
    数据挖掘属于机械学习类吧,数据科学也分统计类和机械学习类的,目前统计类的路过。。。而且主要用R。。。本科学的都是皮毛,master搞的大都是已经有的package,比如你dm的话应该是svm,不读phd的话也就会根据指令干活了,无法创造什么。。。
    zonghua
        3
    zonghua  
       2015-07-22 14:23:57 +08:00
    数学是人类的希望。
    bigtan
        4
    bigtan  
       2015-07-22 14:24:57 +08:00
    统计不好没法做,数学也需要屌屌的。编程相反只要有一门趁手的即可,说到底这个领域还是需要很多创造力的。
    nikoukou
        5
    nikoukou  
       2015-07-22 14:38:37 +08:00
    学数据仓库的路过。。。
    xunyu
        6
    xunyu  
       2015-07-22 14:53:20 +08:00
    洗数据,洗数据,还是洗数据
    BooksE
        7
    BooksE  
       2015-07-22 14:54:24 +08:00
    @leemw 创造机器学习算法还是比较难吧...在现有算法基础上优化的话需求大吗?
    newghost
        8
    newghost  
       2015-07-22 14:58:23 +08:00
    数据分析
    mhycy
        9
    mhycy  
       2015-07-22 15:06:46 +08:00
    数据挖掘关键的是算法,程序写得再好没有数据分析能力还是一程序员而已。
    其实这个工作还有另一个名字: 分析师
    bbking
        10
    bbking  
       2015-07-22 15:13:37 +08:00   ❤️ 1
    很多公司招研究生,因为研究生对机器学习相关算法有相对较好的掌握,并非本科生就不能胜任,只要你够牛逼~

    @taowen 说得很多,若是做data scientist,需要更深的数学功底和算法基础,主要工作是优化模型。
    若是data engineer,其实就是学会使用各种机器学习的模型,能用模型去处理数据。

    R语言和Python都可以,开源易用,都有大量的数据分析的包支持~
    crescent
        11
    crescent  
       2015-07-22 15:27:35 +08:00
    60%~70%的时间都在处理数据,提取特征,以及选样本。。。
    leemw
        12
    leemw  
       2015-07-22 15:28:50 +08:00 via Android
    @BooksE 这个也需要对已经有的算法非常了解才行,结合实际进行欧米伽修正。最少还是得master额。。。目前金融方面需求好像比较多,比如给你n等于五十亿的正方行列数据,让你在一毫秒内立马给出判断之类的。
    49
        13
    49  
       2015-07-22 15:47:52 +08:00 via Android
    @zonghua 科瑞亚才是人类的希望
    staticor
        14
    staticor  
       2015-07-22 15:56:20 +08:00
    以前觉得多学习python就差不多了
    现在深入进去还得接触 hadoop mapreduce pig sqoop shell awk spark ... 要学习的东西太多, 真是蛮有意思的事.
    wh0syourda66y
        15
    wh0syourda66y  
       2015-07-22 15:59:46 +08:00
    @leemw 这种运算得分布式系统才能做吧,单机有点吃力啊
    leemw
        16
    leemw  
       2015-07-22 18:07:01 +08:00 via Android
    @wh0syourda66y 是的,但是算法不好的话仅靠硬件堆砌也是不行的。
    wh0syourda66y
        17
    wh0syourda66y  
       2015-07-22 20:58:48 +08:00
    @bbking 我觉得现在最需要的反而是data engineer呢,各种需要想象力的场景都需要有点geek精神的工程师去尝试
    ChangxuBlack
        18
    ChangxuBlack  
       2015-07-22 21:02:36 +08:00
    这个和编程能力关系也不是很大。。。数学不好连数据挖掘算法的公式都是看不懂的
    taowen
        19
    taowen  
       2015-07-22 21:16:22 +08:00
    @wh0syourda66y data engineer 的需求量大因为是劳动密集型啊
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2751 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 12:38 · PVG 20:38 · LAX 04:38 · JFK 07:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.