 |
Chihaya0824🏢 雑魚 V2EX 第 432561 号会员，加入于 2019-07-28 21:24:43 +08:00 |
Chihaya0824 最近回复了
11 天前 回复了 zyxk 创建的主题 › 问与答 › 电视机的网卡都是祖传的 100 兆，无论是千元入门还是几万的高端机，各个品牌基本都是只有百兆网卡，这是为什么？ |
电视盒子也可以解决吧（
问题不大
问题不大
18 天前 回复了 loveshuyuan 创建的主题 › 宽带症候群 › 突破千兆带宽坎坷之路 |
猫棒跑路回光猫，猫棒实在是太热了，而且还容易出问题，最后还是跑路回光猫（甚至比猫棒便宜很多，这里 gpon 接入，所以猫棒很贵）而且感觉在可预见的时间内 2.5G 的口也能用很久了
但这只是个开始，不知道 op 多久之后会买 10G 交换机（
但这只是个开始，不知道 op 多久之后会买 10G 交换机（
24 天前 回复了 pixcai 创建的主题 › 随想 › 感觉大部分人有点毛病，但又不知道是哪里的毛病 |
有没有可能，不知道=我不想花时间在你身上（ doge
36 天前 回复了 LazyCatCloud 创建的主题 › NAS › 求推荐 100-200 元的程序员想要的礼品？和 NAS 沾边的也行 |
rtl8167 USB 5G 网卡
绝对和 NAS 沾边，谁不想让网速更快一点呢（
绝对和 NAS 沾边，谁不想让网速更快一点呢（
40 天前 回复了 seatifa 创建的主题 › 问与答 › 求一个使用网页远程控制 windows 的方法 |
50 天前 回复了 crac 创建的主题 › Local LLM › ubuntu + 双 N 卡 本地部署 DS-R1，性能优化请教 |
R1-Llama-70B-Distill-Q5KM-GGUF
VLLM
单次（类似 ollama ）
Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 28.3 tokens/s, Running: 1 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 0.4%, CPU KV cache usage: 0.0%.
双卡并发 （并行 12 个请求）
Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 98.7 tokens/s, Running: 12 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 2.7%, CPU KV cache usage: 0.0%.
差不多 3 到 4 倍的样子
VLLM
单次（类似 ollama ）
Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 28.3 tokens/s, Running: 1 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 0.4%, CPU KV cache usage: 0.0%.
双卡并发 （并行 12 个请求）
Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 98.7 tokens/s, Running: 12 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 2.7%, CPU KV cache usage: 0.0%.
差不多 3 到 4 倍的样子
53 天前 回复了 LGA1150 创建的主题 › 宽带症候群 › [未测试] 绕过上海电信白名单限速 |
野生的 kmod 出现了，这个性能怎么样啊，可以无脑给所有流量 setmark 吗？
57 天前 回复了 zhangchaojie 创建的主题 › 奇思妙想 › [这个想法值得做吗？] 一个聚合问各种大模型的应用 |
我最后还是自己去所有主流平台冲了钱，然后 open-webui 一把梭
点上面的那个加号就能同时和很多模型聊天，有时候会对比本地和 api 模型的结果，还挺有用的
点上面的那个加号就能同时和很多模型聊天，有时候会对比本地和 api 模型的结果，还挺有用的
Select Language