hbdh5 最近的时间轴更新 hbdh5 最近的时间轴更新 |
hbdh5V2EX 第 562222 号会员，加入于 2021-11-18 15:46:15 +08:00 |
| 惨， jb 全家桶忘记续费了，现在第二年续费比之前第一年还高。 JetBrains • hbdh5 • 2022-12-21 17:48:27 PM • 最后回复来自 yanluolingfeng | 4 |
| Jetbrains 全系产品好像要涨价了
1 JetBrains • hbdh5 • 2022-06-30 13:00:32 PM • 最后回复来自 Mirage09
|
18 |
| 有那些好用的靠近上游的 Linux 发行版 Linux • hbdh5 • 2024-04-12 14:57:38 PM • 最后回复来自 zero2code | 99 |
| 为什么一些开源项目总喜欢在官网发表 politic 观点 自言自语 • hbdh5 • 2022-06-11 14:36:47 PM • 最后回复来自 ql562482472 | 3 |
hbdh5 最近回复了
168 天前 回复了 superkkk 创建的主题 › 问与答 › 家庭高配电脑能做什么有趣的事情？ |
答案就是没啥用，再高配上个 4090 顶天了。内存配到 200 多 g 顶天了。但是你想本地部署个最新的开源模型最新的 moe 别说放显存，内存都装不进去，估计还得丑陋的放硬盘 swap 。而自己有个啥 idea 想训练个模型验证想法更是别想了。也就打打游戏能行。
168 天前 回复了 rudy1224 创建的主题 › OpenAI › 怎样用掉 OpenAI API 账户中的余额 |
把 key 给我，3 天后用不完算我输
168 天前 回复了 resu 创建的主题 › OpenAI › 请教定制 AI LLM 系统 |
你要本地部署？那采购个几个 8 卡 A800 节点的钱应该没问题吧？你说的定制如果是 prompt 那问题不大，你要是指的是定制模型那请参考最近 deepseek 训练成本 278.8 万 H800 GPU 小时，另外能有 deepseek 实力和微调经验的人工费我都没给你算。
我真的觉得有时候用户不知道自己想要什么。要这要那的，丝毫不顾自己那点需求其实用不到也用不起。
我真的觉得有时候用户不知道自己想要什么。要这要那的，丝毫不顾自己那点需求其实用不到也用不起。
170 天前 回复了 houshuu 创建的主题 › Local LLM › DeepSeek V3 |
@neteroster 是的，论文主要的亮点就是训练部分，不得不说还得是 MoE ，要是 dense 模型参数太大的话一张卡放不下数据交换的妈都不认识，根本没地应用这么多优化。只能送钱给老黄。
170 天前 回复了 mqb666 创建的主题 › 硬件 › 想用笔记本跑 AI 模型，有什么推荐的吗 |
@mumbler 可题主问的是笔记本跑，那我就默认是个人用了。医疗数据应该是有业务用途的怎么也得买个 8 卡集群吧？
170 天前 回复了 houshuu 创建的主题 › Local LLM › DeepSeek V3 |
没人关注训练部分吗？看看原始论文，推理部分的优化似乎来自蒸馏自家的推理模型，auxilary loss 动态调度负载 + DualPipe 优化 pipeline bubbles + 根据通信做混合精度优化， 计算与通信的瓶颈的优化做到极致了。以至于训练成本只有 500 多万刀，和 o 家和 g 家比算是用乞丐的成本达成了至少也是不相上下的结果。要我说，closedai 不做人干脆把 gpu 匀给 deepseek ，可惜匀不得。
171 天前 回复了 mqb666 创建的主题 › 硬件 › 想用笔记本跑 AI 模型，有什么推荐的吗 |
推荐就是老老实实的调 api ，别想本地跑啥模型，新发布的 deepseek v3 看了吧，这玩意主流的笔记本就是量化到 1bit 都加载不进内存。
179 天前 回复了 Byleth 创建的主题 › 问与答 › Cursor 有什么技术壁垒吗？为什么到现在只见到 WindSurf 一个能算得上对手的竞品？ |
技术没啥门槛，RAG+AI Agent+Promt ，国内主要是底模不行，要有个 sonnet 那样强大的底模才行。国内那些大公司还是少弄些开源刷榜的模型把，弄个强大闭源的底模比天天刷那些 ai 榜单强一万倍。
Select Language