ljian6530

这类软件确实不少

# 我也试了一下，2 张 T4 卡，启动参数如下：
export CUDA_VISIBLE_DEVICES=0,1

/opt/llama.cpp/build/bin/llama-server \
--host 0.0.0.0 \
--port 8000 \
--metrics \
--verbosity 3 \
-m /var/unsloth/Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-IQ4_XS.gguf \
--alias Qwen3.8-27B \
--n-gpu-layers all \
--split-mode layer \
--tensor-split 1,1 \
--ctx-size 131072 \
--parallel 1 \
--predict 8192 \
--batch-size 4096 \
--ubatch-size 1024 \
--flash-attn on \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--cache-prompt \
--temp 1.0 \
--top-p 0.95 \
--top-k 20 \
--min-p 0.0 \
--load-mode mmap
# 结果
Prefill：70.50 tok/s
Decode：13.51 tok/s
1024 tokens：75.8s
这速度几乎是无法生产的，大佬看看这堆废铁（ nvidia Tesla T4 16GiB ）还有必要跑吗，但使用 8 张卡跑四个实例并行是不是也是可以？

@coderluan 不加班，也会胡思乱想。 @SUN700S 楼主还是找个轻松工作，多出去交流一下，多去外面看看，远离朋友圈。

@kobeguang 我他妈，这 2 天总是看到这样帖子。是不是该整个《程序员互助会》，被家庭、工作、世俗裹挟的 80 ，90 后。同样现在每个月交粮，亲热几次感觉很别扭。自己的老婆，想干还得约得看心情。这特么结婚的意义就如同还债，没完没了。不能再多说了，不然 v2er 要说🐢了

@xinyewdz 像这样通勤上班不少，我都已经来回开了 3 年，习惯了。最近突然油价飙升，想找个搭子，摊下成本。

@xinyewdz 也不算远，45km ，比市区到青浦还快。

兄弟，同 34 岁，说说上海的行情，基本没戏。比年年轻的还有很多找不到工作，身边有几个同事出去后都想回，但现在很多公司岗位都在收缩，软件这个行业基本没指望了，换个其他出路，骑驴找马再看看。

@suke119 你这个 Token 自由的一米呀，回个帖还用 AI 。楼上整个 AI 文本分析，你居然直接上图，佩服。

@daxiaolian 好的👌