485b 510GB 文件,感觉量化了也很难在 2 台 dgx spark 上运行。
好事是每 token 的 kv 缓存只有原来的 1/5 ,稍微量化下,留个 15g kv ,4 台 spark 跑起来应该很舒服
485b 510GB 文件,感觉量化了也很难在 2 台 dgx spark 上运行。
好事是每 token 的 kv 缓存只有原来的 1/5 ,稍微量化下,留个 15g kv ,4 台 spark 跑起来应该很舒服
1
baigy 3 days ago
太快了
|
2
beginor 3 days ago via Android
看样子 4 张 H20 还跑不动 FP8 了😂
|
3
2211717447 3 days ago
官方发布的已经是 FP4 的版本了,在量化就只能 2bit ,1bit 。也缩不了多少了。
|
4
CyouYamato 1 day ago
还是跑着 5.3 flash, 祈祷后面不要每家都这么搞吧.要是都来这个体量的 flash 两台 spark 根本玩不了.
|