A30 显卡-24G 显存，推荐部署什么大模型呢

[ZimaBlueee]

想部署一个不带推理的大模型，推理耗时太长了。

现在部署的是智谱清言的 chatglm4-9b-chat ，请问有更合适的模型推荐嘛？

符合下面条件：

1. 国产
2. 上下文 2k 的情况下，并发数能有 5
3. 当然，越聪明越好

求哥哥们推荐！！

顺便求一个相对权威的大模型排行榜

[jackerbauer]

deepseek-r1 14B

[ZimaBlueee]

@jackerbauer 不需要推理哈，推理的时间太长了

[linauror]

你的意思应该是不需要思考过程吧，大模型都是要推理的 O(∩_∩)O

[liu731]

https://huggingface.co/Qwen/QwQ-32B

[cat9life]

那必须是 QwQ-32B ，当红炸子鸡

[ZimaBlueee]

@linauror 这个名词我找 ai 问过，ai 说思考过程是拟人化的表达，表述成显示化推理会更准确。。我也分不清了 QAQ

[ijk0]

livebench.ai