求合作，用 Go 实现的 Delta Lake 的 connector
csimplestring · 2023-03-31 22:35:41 +08:00 · 1127 次点击这是一个创建于 587 天前的主题，其中的信息可能已经有所发展或是发生改变。
各位好
本人用 Go 实现了一个 delta lake 的 connector ，用来读取和写入 delta lake 的表的元数据。功能和 https://docs.delta.io/latest/delta-standalone.html 以及 https://github.com/delta-io/delta-rs 类似。
目前的想法是能把这个库进一步完善，目前只支持 local file 文件系统，但是测试覆盖率很高，这点可以放心，所有的测试都是从 https://docs.delta.io/latest/delta-standalone.html 这个官方库中移植的，测试数据也一致。
大致的路线图是
- 支持 s3, azure blob 和 gcs 三个主流的云存储
- 支持几个主流的 Go 的数据处理框架
终极的目标是希望能被 delta lake 社区正式的接受这个库。
本人得看娃上班，精力有限，所以寻求各位大佬有意向的话，一起做这个项目，纯粹用爱发电，热爱开源。
目前尚无回复
Select Language