老哥们，预算 3w 左右想弄一套小型化本地大模型硬件，求推荐

[turing518]

如题，预算 3w 左右，想弄一套小型化本地大模型硬件来跑本地大模型，处理一些不能传到外网的文档的 RAG ，保证 tps 的情况下，能省电更好，目前看了华硕的 GX10 ，求问是否还有其他的推荐？

[niubee1]

微星的一样的配置更便宜一点。或者你可以 AMD 7900XTX 组台机器，能耗高点，但是整体硬件更便宜

[turing518]

@niubee1 AMD 7900XTX 我看显存只有 24GB ，那不是得五张？现有的主板很难有插 5 张显卡的吧

[coefu]

还是 nvidia dgx spark 算了，之前看不来，现在很想买。😂

虽然带宽才 200GB/s ，但是无奈 cuda 和 gpu 都强大，市面上大部分优化都是针对这块的。

[niubee1]

@turing518 跑 Qwen3.8-27B 可以 Q4 量化本地跑起来很巴适，你非要跑全尺寸大模型，插八张也不是不行啊。另外 7900XTX 涨价了，五千多买不到了，要七千了，8 张也不到 6 万啊

[jark006]

DGX Spark? 刚好 3W ，算力/带宽都一般，但统一内存有 128G

[xwayway]

@coefu #4 @jark006 #5 但是跑不动 qwen3.8 27b 这种稠密模型，跑 deepseekv4 flash 这种又要两台才行，如果 qwen3.8 能出个中等规模的 moe 就好了

[coefu]

你要是舍得电费，组装多卡主机，也不是不行，就是费电，噪音大。dgx spark 就是省电。

[xwayway]

@coefu #7 确实也是个问题，另外还有体积，噪音等问题，不能兼得。

[techmale]

这个价只能上二手 M-series(>=3) Max .. (>=300GB 内存带宽)

[coefu]

@xwayway 我刚刚调研出来了一个极品方案。你这个 3w 块，肯定够，但是要做很多工作。不过，非常极品，2.x T 的那种也能跑，只是需要验证。工程理论上是通的。如果你乐意试一下，我们可以一起搞。非常有意思。足够出一篇 2 区 sci 工程论文。

[dk7952638]

V100 32G + Qwen3.8-27B
成本不会超过 4000 块, 如果有旧电脑可能成本更低

[coefu]

@xwayway 艾特错了，应该是艾特 OP 的，抱歉。

[turing518]

@coefu #10 是成品方案吗？我是做公司项目用，所以还是要正规渠道购买好维护好报销的

[coefu]

@turing518 当然不是，成了我还和你合作？想什么呢，😂，当然是有风险的。不过我看还是算了。不让你为难了。