 |
clemente🏢 leftrightmovehands V2EX member #455659, joined on 2019-11-26 18:13:05 +08:00Today's activity rank 29295 |
givemefive
cachemineshot
 |
Per clemente's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
clemente's recent replies
10 days ago Replied to a topic by blackantt › Claude › 有没有 官方的 claude 的 24h 全球使用率峰谷统计，是否在使用量相对低的时候反应更快，更聪明？ |
每次分配给你的 gpu 资源池 又不是同一个。。。
10 days ago Replied to a topic by yiranw09 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？ |
@wwhc
对话中双方的具体错漏分析讨论角色观点/依据分析与评价 wwhc 看到 HF 文件列表总和为 167GB ，就认为只要 167GB 显存即可运行。
概念混淆：混淆了“磁盘文件体积”与“运行时显存需求”。没有考虑到 KV Cache 、并发数（ Batch Size ）、上下文长度以及加载精度对显存的放大效应。
clemente 提醒“满血 BF16 需求远超文件体积”、“运行显存还需考虑 KV Cache”。
思路正确：深刻理解 LLM 推理的显存瓶颈不仅在 Weight ，更在于长上下文下的 KV Cache 和计算开销。
对话中双方的具体错漏分析讨论角色观点/依据分析与评价 wwhc 看到 HF 文件列表总和为 167GB ，就认为只要 167GB 显存即可运行。
概念混淆：混淆了“磁盘文件体积”与“运行时显存需求”。没有考虑到 KV Cache 、并发数（ Batch Size ）、上下文长度以及加载精度对显存的放大效应。
clemente 提醒“满血 BF16 需求远超文件体积”、“运行显存还需考虑 KV Cache”。
思路正确：深刻理解 LLM 推理的显存瓶颈不仅在 Weight ，更在于长上下文下的 KV Cache 和计算开销。
10 days ago Replied to a topic by yiranw09 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？ |
@wwhc 体积和运行时加载 vram 消耗是两回事啊
10 days ago Replied to a topic by yiranw09 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？ |
@wwhc 你不妨吧链接和 readme 扔给 ai 解答一下吧
10 days ago Replied to a topic by yiranw09 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？ |
DeepSeek-V4-Pro with 1.6T parameters (49B activated) and DeepSeek-V4-Flash with 284B parameters (13B activated) — both supporting a context length of one million tokens.
10 days ago Replied to a topic by yiranw09 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？ |
@wwhc https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731 --> 304B params
10 days ago Replied to a topic by LuoDiNate › 程序员 › 烧了 6B+ token,分享下我实践出来最好的 AGENTS.md |
@WWwwMMmmMMmmWWww 只能说明你没用到位。。。我 codex/claude 最高档天天用
10 days ago Replied to a topic by yiranw09 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？ |
@vandort 另外游戏显卡 没有 tensor core 或者少很多。 这才是 高性能计算需要的。
10 days ago Replied to a topic by yiranw09 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？ |
@vandort NV 或者 AMD 的 sdk kernel 库都是根据卡 sm 标号来的 你老卡上显存 120gb 也只能解决能跑的问题 速度天花板很低，因为 kernel 是按照 general 或者那个标号来写的
10 days ago Replied to a topic by yiranw09 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？ |
@wwhc 满血 bf16 dtype 应该是 160Gib * 4 以上的需求 还不考虑 kv cache 的话
Select Language