V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  diudiuu  ›  全部回复第 12 页 / 共 36 页
回复总数  701
1 ... 8  9  10  11  12  13  14  15  16  17 ... 36  
@coefu 等我拿这个赚钱,到时候买显卡
@nanshan2012
算法重新优化了一下,差不多

使用 MoE ,类型的需要默认打开 MoE CPU 卸载(在左下角),现在已经默认打开了

之前没有打开这个,没有考虑显存不够的情况,目前已经加上去了。

可以再试下
@coefu 老哥看下小弟做的这个预测准不准
@qazwsxkevin 已经追加了,希望能帮到你
@qazwsxkevin 没问题的
4 月 27 日
回复了 mightofcode 创建的主题 职场话题 我公司真的有古法编程程序员
都是丑打工当牛马的,不知道你在笑什么
@KaiWuBOSS 没有用 kuaiwu,我给的参数是实际自己部署的

我就是好奇这个已经是带宽的最大能力了,还能有优化空间吗?

有什么新的思路
@coefu 大哥你把我挂这了
这个 dgx spark 带宽就是 274g,比如部署 gemma4 31b 16bf 的,理论值也就 4token/s,我用 llama.cpp 部署也就到达 2.5token/s,这个是靠什么优化的.

还是我理解的不对
4 月 24 日
回复了 chuchen023 创建的主题 职场话题 Vibe coding 有什么意义?
老板觉得牛逼就行
4 月 23 日
回复了 coolpace 创建的主题 分享创造 写了一个 NestJS 中文文档站
这个跟之前叫 egg.js 类似
难得现在还有人手搓这个
有导弹
@gloeaerris 我的跟新的一样,官网报价
4 月 21 日
回复了 diudiuu 创建的主题 Local LLM 部署本地模型 token 输出万能公式
@coefu 买机子的钱不是我掏的,我就是过了一下手,下次让他买 H200
4 月 21 日
回复了 Croow 创建的主题 程序员 真心发问,想学后端需要学啥?
curd
@nc 好奇你这个是怎么做的,我已经关注你的 github,可以的话,项目里面有什么复杂的网络 ip 限制
gemma+ocr 一套

https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/tree/main

mmproj-BF16.gguf 这个是图片模型
1 ... 8  9  10  11  12  13  14  15  16  17 ... 36  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5599 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 41ms · UTC 08:17 · PVG 16:17 · LAX 01:17 · JFK 04:17
♥ Do have faith in what you're doing.