1
ChristopherY OP 其实也不只是 qca ,主要是 ai 模型怎么样部署到嵌入式设备上,有哪些成熟的方案吗?
|
2
AFOX 13 天前
芯片厂商不是会提供文档吗?
|
3
yplam 13 天前 via Android
Rockchip 吧,资料相对完善,RKNN
|
4
ChristopherY OP @AFOX 这种芯片是要专门支持 ai 的吗,还是说随便的芯片就可以
|
5
ChristopherY OP @yplam 多谢大佬。话说 rockchip 这套实际性能怎么样啊
|
6
yplam 13 天前 via Android
@ChristopherY 适合 YOLO 之类的小模型,不适合 llm
|
7
gaobh 13 天前 via iPhone
设备接口支持输出数据就行了,ai 方接入数据
|
8
ChristopherY OP @gaobh 这种相当于 AI 模型用服务器部署,设备只负责采集数据与服务端通信就可以了。有成熟的方案吗
|
9
gaobh 12 天前 via iPhone
@ChristopherY #8 这还要啥方案,自己数据库存一下数据就行了,至于啥时候用怎么用 ai 说了算,部署个 dify 就完事了,设备就不关心这个了
|
10
ChristopherY OP @yplam 看了一下,这些主要是对应的芯片支持。如果 cpu 没有 npu 模块,对于一些轻量级的网络模型怎么样部署到这种设备上
|