V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
walkingDoge
V2EX  ›  程序员

GPU 虚拟化有哪些应用场景?

  •  
  •   walkingDoge · 4 天前 · 2152 次点击

    老板让做这个需求,但是个人对应用的场景比较疑惑? 预期是在 K8S 上,将卡根据算力和显存维度划分,分给不同的租户。

    现在的大模型随随便便吃几十个 G 的显存,做推理时会考虑用虚拟化后的卡么? 或者不是大模型场景,什么样的用户需求会使用到虚拟化后的小小卡呢?

    20 条回复    2025-01-15 13:54:24 +08:00
    zmcity
        1
    zmcity  
       4 天前
    视频转码,小模型在线推理之类的会用到。
    dzdh
        2
    dzdh  
       4 天前
    carmark
        3
    carmark  
       4 天前
    开发机,小模型( CV )推理。
    clemente
        4
    clemente  
       4 天前
    目的是 最大化 售卖算力 本质和 12306 卖火车票一样的. a-b + b-c = a-c
    mumbler
        5
    mumbler  
       4 天前
    阿里云 GPU 去年这会儿 T4 每小时几毛钱,春节后就涨了 10 倍,还不是因为租的人太多了

    现在 AI 开源项目大都需要 GPU 运行,语音识别,逻辑推理,图片生成。。。
    minami
        6
    minami  
       4 天前
    现代操作系统和应用程序基本都抛弃了没有 GPU 加速的硬件了,你用 qxl 显卡跑一下 electron 或者 flutter 就知道有多难受了
    goodryb
        7
    goodryb  
       4 天前
    不能一上来就是大模型把,想想没有大模型之前,GPU 都用来做什么
    moefishtang
        8
    moefishtang  
       4 天前
    云游戏
    moefishtang
        9
    moefishtang  
       4 天前
    @moefishtang 当我没说
    magichan
        10
    magichan  
       4 天前
    像其他人说的,CV 小模型是我这边遇到的场景,一张卡上可以跑多个 CV 小模型提供不同的业务价值。

    可以看看去年刚开源的 HAMi 项目,防止重复造轮子
    ladypxy
        11
    ladypxy  
       4 天前
    多了。大企业用小机跑 Citrix ,然后用户用远程桌面来做设计。
    rainbowhu
        12
    rainbowhu  
       4 天前
    虚拟化说到底还是为了提高使用率吧,独占 gpu 使用率太低了
    jayeli
        13
    jayeli  
       4 天前
    kubevirt ?
    rainbowhu
        14
    rainbowhu  
       4 天前
    @rainbowhu 好像说了废话,当我没说
    wangyzj
        15
    wangyzj  
       4 天前

    不过应该是效果不是很好
    还是不同类型卡直通绑定比较好
    mightybruce
        16
    mightybruce  
       4 天前
    是不是大模型场景,如果是大模型场景,那么必然要显卡虚拟化,并且 nvidia 等各个显卡厂家都是支持不同粒度的虚拟化用来避免资源浪费。
    显卡没虚拟化
    第一、gpu 独占,gpu 使用率第
    第二、导致资源孤岛,不同 team 的任务开发,训练、推理每一步所消耗的 gpu 是不一样的,而 gpu 资源没有池化,无法利用。

    不是大模型场景,推理任务是很快的,往往任务都可以在一张显卡上完成,只要做好调度就可以了。
    chengyecc
        17
    chengyecc  
       4 天前
    云工作站
    towangjianfeng
        18
    towangjianfeng  
       4 天前
    GPU 虚拟化的作用是把 GPU 或者显卡共享给多个不同的租户。在嵌入式的汽车领域的跨域融合(一般是 Type1 类型的虚拟化系统,在一个板子上运行多个虚机),服务器领域有 GPU 算力共享的虚机,,还有软件研发前期验证也可能用到虚拟机(芯片厂的硬件流片前,没有硬件),还有就是桌面虚拟化(本地虚拟机运行桌面共享的 GPU 加速,远程桌面 GPU 加速),想到的是这些。
    Cloutain
        19
    Cloutain  
       4 天前
    云游戏
    fighterhit
        20
    fighterhit  
       3 天前
    gpu-manager cGPU qGPU mGPU 几年前的东西了...
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1594 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 16:57 · PVG 00:57 · LAX 08:57 · JFK 11:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.