NVIDIA 对于消费级显卡的虚拟化限制普遍吗?

[ATKLLL]

我准备装一套 ESXI 工作站 创建一个 Ubuntu 之类的虚拟机 直通显卡给虚拟机跑一些轻量的 AI 服务. 目前选定的显卡是 5060ti 16GB 但是听说 NVIDIA 显卡驱动检测到虚拟机环境会停止运行,这种情况普遍吗,有没有这么搞过的?

[ATKLLL]

补充下 是消费级显卡才有这个限制(找不到合适的专业卡,要么太老要么太贵)

[kennylam777]

直通到單個 VM 應該沒問題，限制的是 vGPU 一類拆分單卡給租戶的功能

[cc666]

可以实现 GPU 分区，参考 https://oxdl.cn/post/843/

[SwordSong]

50 系的消费级破解虚拟化还没搞定，40 系的好像是可以，再之前的都有了。其实就是让驱动把消费级卡认成专业卡，驱动得打专业卡的驱动

[shelken]

直通一个 vm 应该是没有限制的，我用的 pve 。有限制的一般是 vgpu （给多个 vm 分配一块 gpu ），虽然我之前直通失败不过使用一些教程用上了 vgpu 体验还是不错的。

[ATKLLL]

再补充下 我确实只需要直通到单个 VM,对 vgpu 没需求

[hertzry]

你说的显卡直通虚拟机和计算卡的虚拟化不是一回事。

[YsHaNg]

跑 ai 推理不用虚拟化 ollama llama.cpp vllm transformer 都可以 docker 部署 host 驱动装好对应的 image 无脑 pull 都给你集成好了 有额外需求 compose/lxc 自己再装 container toolkit 任意 Linux 当 host 即可 裸 debian/pve

[ATKLLL]

@YsHaNg 现有的系统是 centos7 太老旧了,但是上面的东西又不能动,只能装 esxi 然后把现有的硬盘直通过去这样了

[ATKLLL]

@hertzry 确实表述行不准确 直通严格来说不算虚拟化,但系统是虚拟化的我又查了下 21 年之后 NVIDIA 放宽了这项限制.不知道实际情况如何

[photon006]

确认 rtx30 系没限制，3060 、70 、80 、90 都玩过直通，甚至主板插 2 张卡直通给同一个 vm 都可以

[cinlen]

直通是没问题的，我以为你说的是切分。

[AkinoKaedeChan]

GRID vGPU 在 Linux 上要破解，Windows 上好像因为 WSL 有需求反倒可以用；直通应该没问题

[my3157]

试试 k8s , hook cuda runtime 的 vgpu 方案, 自己玩没啥问题, 生产环境的话凑合也能用, 比如 https://github.com/Project-HAMi/HAMi-core

[CapNemo]

之前有驱动限制，检测到虚拟机时驱动会报错 42 错误码。二几年取消了，20 系之后的都可以直通给单个虚拟机了。

[ImINH]

pcie 直通就行，我没听说有虚拟机检测这么一说，消费级是限制 vGPU

[WuSiYu]

整个直通现在任何卡都可以，之前是有限制，现在解除了

[nuII]

有方案，但都是添加中间层拦截 dll 调用，有性能损耗。