这是一个创建于 177 天前的主题，其中的信息可能已经有所发展或是发生改变。
想请教一下各位大佬，比如说给一个很大区间范围的数据进行分区求和，先由 master 分给各个 worker ，由 worker 来计算后反馈给 master 进行汇总，我在网上找了很多但是都没有找到相关的源码可供参考。各位大佬能不能指点指点，谢谢。
 |
1
YsHaNg 177 天前
|
 |
2
ccde8259 177 天前 via iPhone
为啥是 K8S 而不是 YARN+Spark
|
 |
3
dayeye2006199 176 天前 via iPhone
你需要的的是一个可以做 map reduce 类任务的框架, k8s 并不管这事
复杂点可以用 spark ，简单点就 ray dask 这些并行处理框架 |
Select Language