现在开始学习 Spark Kafka 等分布式知识,本身读书的时候也是从事机器学习方面的内容。 如果还想继续从事机器学习方面的工作的话,主要工作内容有哪些呢?需要知道哪些知识? 求指点,谢谢了
1
zgbgx1 2017-09-27 15:44:45 +08:00 1
一般我了解的是 hadoop 生态圈(包括 spark )这些大多是 java 工程师在搞,主要核心 不是算法,更多是架构和功能方面。这里面要学的东西很多,首先是一门语言,无聊 java 还是 scala,然后各种中间件和分布式存储和计算,当然还需要场景。
这一系列的东西,和你以前学的还是有很大不同的。 我以前是写 java 的,现在 写 python 爬虫和数据分析,一直在互联网金融公司工作,大型互金公司,大数据部门是不负责建模和机器学习的,由其他专业部门做机器学习和建模。 |
2
zhangli199212 OP @zgbgx1 所以说现在的状态会跟机器学习越来越远么?
|
3
zgbgx1 2017-09-27 16:58:09 +08:00
@zhangli199212 也不一定,只是说,学这些的确需要你很多的精力才行,还有就是不建议干学,你需要场景,真正的工作环境,如果你没有那么多数据,不需要多复杂的架构,你学这些,是很抽象的,分布式 微服务之类都是很深的坑,需要真正去踩坑才能真正理解,不是几个 api 就搞定。
|
4
zhangli199212 OP @zgbgx1 公司目前还是一个初步的状态,确实需要花大的精力去干这件事儿,机器学习或者数据挖掘建立于分布式上是不是才应该更加有潜力
|
5
zgbgx1 2017-09-29 08:33:40 +08:00
@zhangli199212 业务决定架构,这些东西都应该是架构师来决定的,不要一上来就分布式,建议走敏捷开发的路线。还要看你公司规模。
你的技术栈有哪些了,以前有哪些项目经验 |