V2EX › chenquan 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

49 天前

回复了 brant2ai 创建的主题 › 程序员 › [实时数据] 现在实时数据处理，除了 Flink 以外，其他有什么比较好用的计算引擎或者架构

毕竟轻量 -> 比较轻量

49 天前

回复了 brant2ai 创建的主题 › 程序员 › [实时数据] 现在实时数据处理，除了 Flink 以外，其他有什么比较好用的计算引擎或者架构

我自己在写： https://github.com/arkflow-rs/arkflow ，毕竟轻量

国外厂商开源的： https://www.arroyo.dev/

77 天前

回复了 EvanTop 创建的主题 › 分享创造 › 「大家的产品列表」收集混迹于 V2EX 上大家开发的个人产品。

名称：ArkFlow
地址： https://github.com/arkflow-rs/arkflow
描述：高性能流处理引擎无缝集成了 AI 功能，提供了强大的实时数据处理和智能分析。

77 天前

回复了 chenquan 创建的主题 › 程序员 › ArkFlow+ Python : 轻松实现实时 AI

@xgdgsc 方便的话，帮忙提个 issue 呗

77 天前

回复了 chenquan 创建的主题 › 程序员 › ArkFlow+ Python : 轻松实现实时 AI

@dododada
哈喽，不太了解你这里说的 [各家光机电的 sdk] 具体是什么内容哈。
不过已经规划了 arkflow 插件机制 [https://github.com/arkflow-rs/arkflow/tree/main/crates/arkflow-core/src] ，通过插件可以自己定义任何的输入、处理、输出、缓存层等的内容。目前插件机制的对外签名，还未稳定，后期可能随着版本变动，不过变动不会太大，修改起来也不会太麻烦。

插件参考： https://github.com/arkflow-rs/arkflow-plugin-examples

77 天前

回复了 chenquan 创建的主题 › 程序员 › ArkFlow+ Python : 轻松实现实时 AI

@specture
1. arkflow 更强调流式计算。windmill 我不太了解，初步看了它更专注于业务流程编排
2. 目前还没有正在的生产落地，不过已经有国外的公司在测试环境使用了。

77 天前

回复了 chenquan 创建的主题 › 程序员 › ArkFlow+ Python : 轻松实现实时 AI

@dododada
Q: 有个问题，你们的数据是直接吐给模型，还是要转换？如果要转换的话，还是有损失的；
A: 调用算法模型，还是需要转换的，但是少了网络和一部分序列化开销

Q: 看了你的制造质检的例子，也许你们就是搞工业的？
A: 大差不差，我本人主要是做物联网这块

目前我认为这种方式适合轻量级的算法应用（单个节点就能快速完成计算）。如果是用在互联网应用中可以部署多个节点，就跟 kafka 消费者类似。
但是如果一个数据进来后需要调用一个集群的资源来计算结果，那肯定就不适用于这个了。不过真遇到这种情况也可以考虑使用 python 调用外部模型服务器来解决。

77 天前

回复了 chenquan 创建的主题 › 程序员 › ArkFlow+ Python : 轻松实现实时 AI

@dododada 是的通过 Python 直接调用本地模型

77 天前

回复了 chenquan 创建的主题 › 程序员 › ArkFlow+ Python : 轻松实现实时 AI

@xgdgsc 暂时没有这个计划哈。能说一下想支持 Julia 的原因吗？

95 天前

回复了 red13 创建的主题 › Rust › 这里搞 Rust 的多吗？

@liunaijie 感谢😁

95 天前

回复了 red13 创建的主题 › Rust › 这里搞 Rust 的多吗？

在搞😁😁😁，用 rust 开发流处理引擎

132 天前

回复了 chenquan 创建的主题 › 程序员 › ArkFlow - 高性能 Rust 流处理引擎，在下一个版本中可扩展性将得到极大提升！

@visper 类似，但定位不同哈

132 天前

回复了 chenquan 创建的主题 › 程序员 › ArkFlow - 高性能 Rust 流处理引擎，在下一个版本中可扩展性将得到极大提升！

@zealinux 好嘞，我找时间安排上哈

133 天前

回复了 chenquan 创建的主题 › 程序员 › ArkFlow - 高性能 Rust 流处理引擎，在下一个版本中可扩展性将得到极大提升！

@Akagi201 也不一定哈，还是看需求呀

133 天前

回复了 chenquan 创建的主题 › 程序员 › ArkFlow - 高性能 Rust 流处理引擎，在下一个版本中可扩展性将得到极大提升！

@kneo 别那么激动哈，已经在新版本实现了，只是没发版。
插件参考： https://github.com/arkflow-rs/arkflow-plugin-examples

166 天前

回复了 chenquan 创建的主题 › 开源软件 › ArkFlow – 高性能 Rust 流处理引擎

@des 有什么好的解法吗？

169 天前

回复了 chenquan 创建的主题 › 开源软件 › ArkFlow – 高性能 Rust 流处理引擎

@3085570450tt 欢迎继续关注 arkflow 、有什么想法可以畅所欲言。

169 天前

回复了 chenquan 创建的主题 › 开源软件 › ArkFlow – 高性能 Rust 流处理引擎

@3085570450tt
1. 目前其实 yaml 的配置也很简单的，但是也有一定的门槛（适合用于一定开发经验的人），这个在后期会进一步优化哈。
2. input 、output 、processor 已经支持扩展（ https://github.com/chenquan/arkflow/pull/75 ），会尽快完善这块的内容。

169 天前

回复了 chenquan 创建的主题 › 开源软件 › ArkFlow – 高性能 Rust 流处理引擎

@des 是的，目前的设计中是采用 yaml 配置哈，不过今后会考虑使用动态更新 yaml 配置的方式来提升体验。如果有更好的方式欢迎随时交流哈

170 天前

回复了 chenquan 创建的主题 › 开源软件 › ArkFlow – 高性能 Rust 流处理引擎

https://news.ycombinator.com/item?id=43358682