怎么把 elasticsearch 里面的数据导入到 hadoop 里面
ufo22940268 · 2017-03-02 13:37:01 +08:00 · 3592 次点击这是一个创建于 2813 天前的主题，其中的信息可能已经有所发展或是发生改变。
我又 tm 不要脸地来问了，因为研究了很久还是搞不明白。
好像有这个项目，但是不知道怎么导数据，求大神给个链接或者指导下。现在数据都放在 es 里面，然后 es 分析数据的能力不够想导入到 hadoop 里面分析试试。
 |
1
knightdf 2017-03-02 14:25:22 +08:00
先从 es 里导到硬盘上去呗，你每次从 es 里读那得多慢啊
|
 |
2
bbx 2017-03-02 14:26:32 +08:00
不太懂你在说什么。不过从你提供的链接来看，貌似你是想用 mapreduce 来读 es 的数据。其实很简答，你网上找个可用的 inputformat （你链接上的），然后写个 mapreduc 程序就行了。。貌似我说了和没说一样，不过你那个链接里面已经说的很清楚了
|
 |
3
onesuper 2017-03-03 10:40:34 +08:00
LZ 提到的 elasticsearch-hadoop 这个项目把 ES 作为一个 storage 层直接访问。
在 ES 里做简单的分析（ aggregation ），参考这个项目： https://github.com/onesuper/pandasticsearch |
 |
4
37Y37 2019-03-20 16:55:16 +08:00
当我把这个问题解决后，写了一篇详细的操作文档
https://mp.weixin.qq.com/s/qOw1a83pQImXiDRRZ0e9Aw |
Select Language