V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  JerryMouse  ›  全部回复第 1 页 / 共 2 页
回复总数  27
1  2  
对于将现有的 HBase 数据导出到 Elasticsearch ( ES )并进行增量同步的问题,有一些主流的方案可供考虑。

1. **HBase MapReduce 导出到 Elasticsearch:**
- 利用 HBase 的 MapReduce 作业将数据导出到中间格式(如 JSON 或 Avro )。
- 将导出的数据通过 Elasticsearch 的 Bulk API 加载到 ES 中。
- 对于增量同步,可以定期运行这个作业,只导出最近更新的数据。

2. **使用 Apache Nifi 或 Kafka Connect:**
- Apache Nifi 或 Kafka Connect 可以用作数据流处理工具,从 HBase 抓取数据并将其发送到 Elasticsearch 。
- 配置定期拉取并同步,以处理增量数据更新。

3. **使用 Logstash:**
- Logstash 是一个数据处理工具,可以从 HBase 读取数据,并将其发送到 Elasticsearch 。
- 通过配置 Logstash 管道,可以实现定期的全量或增量同步。

4. **HBase Coprocessor:**
- 利用 HBase 的 Coprocessor 功能,可以在 HBase 数据更新时触发事件,并将相应的数据同步到 Elasticsearch 。
- 这需要编写自定义的 Coprocessor 来处理数据变更事件。

选择方案时需要考虑数据一致性、性能、可靠性和实现难度。根据具体需求和技术栈,选择适合项目的方案。


——

以上来自把你问题复制到 gpt3 后他给的回复
支持一下
261 天前
回复了 Natsuno 创建的主题 职场话题 关于职场上的一些困惑
你这不就是 pua 经典案例嘛
阿鲍
2023-03-13 11:04:36 +08:00
回复了 eggsblue 创建的主题 生活 我该如何选择下半生
“如果是你,你会怎么做这个抉择?”

如果只这么问的话,这里大家的回复没法给你坐参考,因为只有你自己知道自己有多想出国以及你自己有多爱她,其他人说的都是自己对于自己想出国的感受和对爱人的感受。
2023-03-02 20:19:13 +08:00
回复了 canacan 创建的主题 程序员 想入手一个墨水屏看代码相关的书,尺寸如何选择?
手持 kpw3 ,横屏+koreader 看 pdf ,还能再战 5 年…
2023-03-02 06:16:35 +08:00
回复了 aeo13 创建的主题 问与答 单点登录方案咨询
SAML ?
fenmu
2022-06-05 08:26:56 +08:00
回复了 lasuar 创建的主题 珠海 珠海游玩有感
我感觉现在大部分地方想去玩都是这样,你想去网上找到好玩的好吃的地方,结果一堆的照骗、软文,完全不知道怎么找到值得去的地方。或者说去的地方值得的地点单一,跑老远可能就一个亮眼的点。
2022-03-14 08:49:03 +08:00
回复了 daimubai 创建的主题 随想 这是什么心理
你是不是豆瓣还是啥地方前阵子发过一模一样的内容?
2022-03-10 17:28:31 +08:00
回复了 JerryMouse 创建的主题 问与答 普通程序员的路
好像有几人都点了收藏帖子,没有大佬能说说这个话题吗
2022-03-05 18:09:07 +08:00
回复了 chengxynds 创建的主题 程序员 你们平时都怎么学习技术啊
@R18 你能纸上谈兵了就去面试 面过了不就有机会实战了
2022-03-05 18:05:53 +08:00
回复了 zhimo08 创建的主题 程序员 大家理解的技术大神都是什么标准?
@Jooooooooo 这个需求也能指的业务需求吗?一直只写业务代码,但是怎么样才能写业务代码一直写下去?
2022-03-05 18:04:36 +08:00
回复了 zero2me 创建的主题 程序员 做 manager 其实挺累的
不想做管理的话,有没有人能说说 curd boy 以后想继续写代码的话路应该怎么走?真心想知道。
2022-02-22 10:41:00 +08:00
回复了 3country 创建的主题 职场话题 回看自己一年前职场困惑贴子有感
“我不在乎 996 ,只要有价值”

但是 996 是否有价值你没得选,让你 996 的人肯定认为是有价值的...
2022-02-11 10:01:00 +08:00
回复了 ExiFeng 创建的主题 问与答 分享一下你今年的书单
今年的书单继承的去年的书单...
2021-10-27 17:22:42 +08:00
回复了 slidoooor 创建的主题 程序员 整理了一波计算机书籍的综合评分列表
@v2exblog 你是怎么监控到我的屏幕的?
2021-09-13 17:17:25 +08:00
回复了 beryl 创建的主题 程序员 工作 5-10 年应该具备什么样的能力
@cxytz01 越看越觉得你说的是我,我一直觉得自己很菜的,存在感很低,bug 也比较少,之前还有工作过的公司的测试同事说测我做的部分很没意思... 但我知道我实际上不是你说的优秀
@Daozu 可以直接自己报名自己准备考试,机构那些报名的钱是因为他们给你学习资料
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3781 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 39ms · UTC 10:20 · PVG 18:20 · LAX 03:20 · JFK 06:20
Developed with CodeLauncher
♥ Do have faith in what you're doing.