关于大数据开发的工作方向，求大佬解惑

[ranxi]

先说下个人情况，20 届普通本科，第一份工作写了一年的 hive sql ，觉得学不到东西，选择跳槽到现在的公司，招的时候说是大数据岗，进来一直在写 springboot ，跟大数据的关系大概就是会调用一下 hdfs 、hive 的接口。现在觉得有些迷茫，个人是希望往大数据方向发展，但是像现在流行的 flink 、机器学习都没接触过，网上搜学习方向，罗列一大堆，不知道现在应该学哪个，求大佬解惑

[ilovekobe1314]

尚硅谷有个大数据教程，从 hive spark flink 讲的，推荐

[Suddoo]

都差不多啊，老板给钱、不加班、离家近，就行了，做什么方向，本质上都是另一种形式的 crud 啊

[Suddoo]

机器学习，深度学习，迁移学习，卷积神经网络...... 一堆高大上的名词，结果进了公司，就整天 load model, train network, predict......

[pengtdyd]

学啥不重要，能挣到钱就行

[ccjy778899]

同样困惑，做大数据好像也没用到啥技术，是平台问题吗？

[F281M6Dh8DXpD1g2]

hive sql 你都学会了?

[levelworm]

是不是大数据主要看频率和量吧？

[disk]

@ccjy778899 开发和研发的技术难度不一样，很多说是大数据，实际上数据量没有那么大，或者方向单一，很容易变成拧螺丝

[SbloodyS]

springboot 就是数据平台了，写 hive sql 的是数仓，两个都会的话在目前还是挺吃香的

[imn1]

很多人认为算法最宝贵，其实啊，在我看来，数据最宝贵，如果你能直接接触数据，在不违反规定（不盗取、不外泄及其他规定），如果能外带，自我修炼是最好的

理由：
1. 算法的价值确实最高，但只是对公司而言，这个算法你没什么用的，除非盗取给竞争对手，因为目前的大多数算法是业务算法，而不是通用算法，只能用在业务相近的场合
2. 数据为何对个人来说更有用？因为个人也能研究出算法，却凭一己之力搜集到真实数据，基本不可能

自学的东西，网上很多，也能自行摸索，但无法自学的东西，就是上述第一条：业务算法 /业务模型，因为这个东西去别的公司可能就不同了。
“拿走也没用”有两层含义：
1. 这东西就是这个公司产生的，去别的地方或者自我摸索学不到
2. 没用，那就不要把重点放在结果，而是过程，怎样把数据和业务结合建模，这也是自学不到的知识

至于工具怎么用，其实应该早有思想准备吧？哪个公司会花时间教你啊？除非那是该公司自创的工具，反正就一句，在公司学习重点放在业务流程上，其他自己摸索

[xdwmxx]

大数据就两个方向，一个仓库一个平台。仓库的就把模型搞会，不是只有写 sql ，优化，链路，资产，数据服务你都很懂了吗，还是有点学问的，给你个新公司让你构建数据中心，你能接下来嘛？一般也是先有仓库开发确定好如何构建数据再找人开发平台。平台开发的话现在银行的都买现成的了，互联网自研的多一些，平台数据地图这种一般就是 springboot ，比较算 java boy 的，还有就是 flink 这种，用现成的开源组件重构一个类似 ds 调度系统之类的。想写代码多一些就去平台组，想熟悉某个业务线，就去仓库组好好积累。

[wangwei216]

@SbloodyS 我现在差不多就是这种，外加写各种 Flink job ，但是感觉也一般般啊，也没啥更好的 机会

[SbloodyS]

@wangwei216 今年行情不好...

[liugddx]

@SbloodyS 大佬说的对啊。

[SbloodyS]

@liugddx 😂😂😂