snowkylin's recent timeline updates snowkylin's recent timeline updates
snowkylin
snowkylin
| 本地部署 DeepSeek-R1 671B 千亿大模型流程 分享发现 • snowkylin • Feb 21, 2025 • Lastly replied by lifechan | 24 |
| ReleaseZip：使用 .zip 域名发布和分享 zip 文件
1 分享创造 • snowkylin • Jun 19, 2023 • Lastly replied by snowkylin
|
16 |
snowkylin's recent replies
Feb 9, 2025 Replied to a topic by snowkylin › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
@zhyim 8-bit 的吗，应该可以吧（可能得看 H100 是多少显存的版本），试试？
Feb 1, 2025 Replied to a topic by snowkylin › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
Jan 31, 2025 Replied to a topic by snowkylin › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
@vpsvps 我没试过直接用 ollama 下载，不太确定，以及这个是 unsloth ai 出的动态量化版本，目前我只看到 huggingface 上有
Jan 31, 2025 Replied to a topic by snowkylin › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
Jan 31, 2025 Replied to a topic by snowkylin › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
@vpsvps 可以，会比较慢（可能大约 2-3 token/s ，取决于内存带宽和 cpu 规模）
Jan 31, 2025 Replied to a topic by snowkylin › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
@fcten 是的，所以我在正文里写了，文中测试的这套配置对于跑大规模 LLM 推理并不是最有性价比的（我用这个只是因为我手上刚好有，主要是做训练用）。如果纯做 LLM 推理，目前最有性价比的新机方案我觉得可能是高配大内存的 Mac Studio 。
https://x.com/ggerganov/status/1884358147403571466
https://x.com/ggerganov/status/1884358147403571466
Jul 13, 2023 Replied to a topic by muzihuaner › 分享创造 › 欢迎加入山河大学 |
Jul 2, 2023 Replied to a topic by muzihuaner › 分享创造 › 欢迎加入山河大学 |
草，我才发现 .ac.cn 域名是开放注册的
那中科院以及国科大岂不是有点尴尬……
那中科院以及国科大岂不是有点尴尬……
Jun 19, 2023 Replied to a topic by snowkylin › 分享创造 › ReleaseZip：使用 .zip 域名发布和分享 zip 文件 |
@Greatshu 可以参考版上之前的一些讨论： https://v2ex.com/t/943679
Jun 16, 2023 Replied to a topic by snowkylin › 分享创造 › ReleaseZip：使用 .zip 域名发布和分享 zip 文件 |
@codehz 新的版本可以重命名呀，文件名加个前缀后缀，yourfile_v2, yourfile_v3 之类的，就可以上传了。当然之后如果搞个用户系统的话，是可以让已登录的用户管理自己 released 的文件。
Select Language