推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
我跟你们说， UCBerkeley 做了个牛逼的 Python 分布式计算框架，上灭 Spark 下踩 MapReduce
est · est · 2018-01-19 22:53:51 +08:00 · 5135 次点击这是一个创建于 2511 天前的主题，其中的信息可能已经有所发展或是发生改变。
标题只是打个广告。。。。灵感来自逼乎问题： 如何看 UCBerkeley RISELab 即将问世的 Ray，replacement of Spark ？
项目在 github
https://github.com/ray-project/ray
里面有个 plasma 组件挺好用的。 zero copy 的共享内存对象存储引擎。
https://arrow.apache.org/blog/2017/08/08/plasma-in-memory-object-store/
第 1 条附言 · 2018-01-23 09:54:21 +08:00
具体对比：
https://arxiv.org/pdf/1712.05889.pdf
MapReduce, Apache Spark, Dryad, Dask, CIEL 的 throughput 和 latency 不行。
TensorFlow, Naiad, MPI, Canary 无法实现动态图计算。
Ray默认支持：
- OpenAI gym
- DeepMind Lab
- Mujoco physics simulator
- TensorFlow
- Theano
- PyTorch
- Caffe
等框架。
5 条回复 • 2018-01-20 21:53:15 +08:00
 |
1
privil 2018-01-19 22:55:10 +08:00
前排围观，现在学 python 还来得及么，哈哈哈
|
 |
2
nooper 2018-01-19 23:13:54 +08:00 via iPad
我用过了。看下性能。并没有那么理想
|
 |
3
bbx 2018-01-20 05:31:05 +08:00
没仔细看，不过看到说用 arrow，如果 zero copy 是卖点，那么没啥新奇的，spark 也用了 arrow
|
 |
4
janxin 2018-01-20 07:35:18 +08:00 via iPhone
看了下是分布深度学习框架？这个好像和 spark 差得远了点？
|
 |
5
rogerchen 2018-01-20 21:53:15 +08:00
ray 是基于 actor model 做强化学习的分布式框架，框架确实解决了不少分布式机器学习的痛点。
|
Select Language