hughrover 最近的时间轴更新 hughrover 最近的时间轴更新 |
hughroverV2EX 第 761229 号会员，加入于 2025-08-05 18:07:18 +08:00 |
hughrover 最近回复了
2 月 25 日 回复了 pks 创建的主题 › 分享发现 › 白山云的 glm5 可以嫖一下 |
2 月 4 日 回复了 guojianwei 创建的主题 › 推广 › 评论抽奖，福利第三天，五常大米 |
分母
1 月 14 日 回复了 wyfig 创建的主题 › Local LLM › 本地大模型目前意义大吗？ |
以 16B 尺寸的模型部署推理为例，加载半精度模型权重占用显存 16G （全精度 32G ，此外还有 KV Cache 、激活缓冲区占用的显存），即使是 m4 max 的最高配 128G ，也很难流畅运行超过 100B 尺寸的模型，供楼主参考。
Select Language