V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ChristopherY
V2EX  ›  嵌入式开发

嵌入式 AI 系统 SDK

  •  
  •   ChristopherY · 13 天前 · 541 次点击
    求问有没有嵌入式 AI 系统的 SDK 软件模块介绍,主要是如何在 qca 芯片上实现 AI 部署,部署需要哪些软件模块配合?
    10 条回复    2024-12-18 11:59:40 +08:00
    ChristopherY
        1
    ChristopherY  
    OP
       13 天前
    其实也不只是 qca ,主要是 ai 模型怎么样部署到嵌入式设备上,有哪些成熟的方案吗?
    AFOX
        2
    AFOX  
       13 天前
    芯片厂商不是会提供文档吗?
    yplam
        3
    yplam  
       13 天前 via Android
    Rockchip 吧,资料相对完善,RKNN
    ChristopherY
        4
    ChristopherY  
    OP
       13 天前
    @AFOX 这种芯片是要专门支持 ai 的吗,还是说随便的芯片就可以
    ChristopherY
        5
    ChristopherY  
    OP
       13 天前
    @yplam 多谢大佬。话说 rockchip 这套实际性能怎么样啊
    yplam
        6
    yplam  
       13 天前 via Android
    @ChristopherY 适合 YOLO 之类的小模型,不适合 llm
    gaobh
        7
    gaobh  
       13 天前 via iPhone
    设备接口支持输出数据就行了,ai 方接入数据
    ChristopherY
        8
    ChristopherY  
    OP
       13 天前
    @gaobh 这种相当于 AI 模型用服务器部署,设备只负责采集数据与服务端通信就可以了。有成熟的方案吗
    gaobh
        9
    gaobh  
       12 天前 via iPhone
    @ChristopherY #8 这还要啥方案,自己数据库存一下数据就行了,至于啥时候用怎么用 ai 说了算,部署个 dify 就完事了,设备就不关心这个了
    ChristopherY
        10
    ChristopherY  
    OP
       12 天前
    @yplam 看了一下,这些主要是对应的芯片支持。如果 cpu 没有 npu 模块,对于一些轻量级的网络模型怎么样部署到这种设备上
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1349 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 17:21 · PVG 01:21 · LAX 09:21 · JFK 12:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.