V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
这东西我都没见过实物，在 USA 的同学有一台，但是他上线后应用的事情都快拉爆了，暂时没空测我的想法，只能想象着来问一下这里各位佬了:
- C++,Python 的代码 review;
- 根据提示词,处理 MySQL 返回来 8k~13k 条已成 JSON 的数据提取;(字段和内容不多,爆不了上下文)
- 给出初高中的数学物理,某题的解题思路;
需求就这三类事情为主。
问题:
- DGX Spark 128G 跑个什么模型能应付以上三类强度的事情?
- 如果有合适(或者将就)应付的模型，90%额定容量的上下文打进去,要多久时间有反应开始出 tokens?
- 每秒能吐多少 tokens?
考虑:
- 场地空间和物理条件所限,只能找这类小机.
- 可以考虑 Mac Studio M3U 256G,再新款的加钱也不好买,也贵.
 |
1
lan894734188 Apr 22 via iPhone  1
最多跑 100b 左右的 moe 模型 tps 约 40 左右 不快不慢
|
 |
2
Zhuzhuchenyan Apr 23 1
正好 B 站刷到一个视频，应该能解答你的疑问，视频中也提到了如何根据模型理论参数反推部署后的指标
花 5 万买 Mac Studio 跑 AI 值不值？用了一年终于能回答了。附模型评论和硬件对比，部署指南 https://www.bilibili.com/video/BV1zmSoBnEYM |
 |
3
coefu Apr 23 1
|
 |
4
qazwsxkevin OP @coefu 嗯嗯，我在大佬另外一个帖子下面咨询了他，估计他也不清楚，没时间琢磨了，我自己也有想法等 M5Ultra 出来看看情况...
|
 |
5
babymonster Apr 23
这个可以玩的有很多呀，文生图，文生视频，Comfy UI ，ASR ，TTS ，OCR 等等这些都是可以玩的。但是这些部署过程就会很繁琐，我看有一款产品跟这个差不多，叫懒猫微服，他们有工程师 7×18 小时在线服务，这一点还是挺好的，不知道有没有评论区大佬来看看
|
Select Language