Insolitude
V2EX  ›  Local LLM

deepseek v4.1 Flash 发布了

  •  
  •   Insolitude · 3 days ago via Android · 2982 views

    485b 510GB 文件,感觉量化了也很难在 2 台 dgx spark 上运行。

    好事是每 token 的 kv 缓存只有原来的 1/5 ,稍微量化下,留个 15g kv ,4 台 spark 跑起来应该很舒服

    4 replies    2026-09-12 20:59:14 +08:00
    baigy
        1
    baigy  
       3 days ago
    太快了
    beginor
        2
    beginor  
       3 days ago via Android
    看样子 4 张 H20 还跑不动 FP8 了😂
    2211717447
        3
    2211717447  
       3 days ago
    官方发布的已经是 FP4 的版本了,在量化就只能 2bit ,1bit 。也缩不了多少了。
    CyouYamato
        4
    CyouYamato  
       1 day ago
    还是跑着 5.3 flash, 祈祷后面不要每家都这么搞吧.要是都来这个体量的 flash 两台 spark 根本玩不了.
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1131 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 17:44 · PVG 01:44 · LAX 10:44 · JFK 13:44
    ♥ Do have faith in what you're doing.