看到有人评论,说 9G 内存就够跑 Qwen 14B 了,效果直逼 o1mini ,高配 32B 都可以跑。
求证一下,有没有大佬已经上手了,感觉怎么样。
1
spike0100 5 天前 via iPhone
本地模型出错率还是挺高的。问了下中国历史上的首都都有哪些,啪啪啪 think 了一堆,但是最后回答的几个朝代没一个对的。但是官网的回答是没错的。
|
2
vipviphaha 5 天前
9g 内存跑 14b ,速度不行
|
3
0619 5 天前
M1 Max 64G 32b 速度可以用,70b 速度非常慢
|
5
tanrenye 4 天前
试了一下 7b ,不太行的感觉,还有混着英文来回答,估计要 14b 以上会好一点,不如 qwen2.5 的 7b
|
6
windirt 4 天前
16G M1 Pro ,关掉所有 app 能跑 14B
|
7
jiuzhougege 4 天前
32G 内存跑 32B, 20G 的模型文件,无压力
|
8
GabrielleBellamy 4 天前
128gb 内存跑 32b 中。
|
9
hearlessnor 4 天前
@windirt 速度如何,回答质量如何?
|
10
pricky777 4 天前
16G 的 M2 跑 7b ,错误挺多的,跑 14b 的话内存直接炸了,结果也没好到哪里去
|
11
neilxu 4 天前
与楼上不同,我 16G 的 M1 ,ollama 跑 14b ,速度不慢,内存占用 12G ,回答质量和速度都可以,问的是苏联和蒙古的历史问题,跟 ds 官网的答案差不多,没有明显减少字数。
就是 air 没风扇,输出的时候温度 88-90 度,输出完就降温了。 |
12
zeyangstudies 3 天前 1
跑了 32b 的 4bit 量化的 mlx 版本,感觉挺好用~
|
13
skylha 3 天前
@zeyangstudies 老哥你是啥配置?有比直接跑 7b 效果好吗?
|
14
zeyangstudies 2 天前
@skylha 我的是 48g 的 M3 ,没试过 7b 的诶
|
17
hiiragiharunatsu 2 天前
m4 的丐版 16+256 跑 14b 大概 9tok 蹦字很慢 效果也不好 thinking 时间巨长 感觉还不如 8b 那个舒服
|
18
idlerlestat 2 天前
|
19
sheller 2 天前
@zeyangstudies 求个链接,谢谢
|
20
wsbqdyhm 1 天前 via iPhone
@0619 #3 配置一样,32b 和 70b 我都安装了,可以接受。ds 真的好很多,国内妥妥的第一,中文也比免费版的 chatgpt 强,付费版没有试过
|
21
winson030 11 小时 25 分钟前 via iPhone
话说。能跑是能跑,但是效果怎样? 32gb m1pro 跑哪个规格的模型是能用好用的?
|