exo + MindMac = 完全跑在 localhost 上的接近 ChatGPT 的体验

[Livid]

https://github.com/exo-explore/exo

https://mindmac.app/

macOS 上还有哪些可以填自定义 ChatGPT API endpoint 的客户端呢？

相比折腾 Linux 上的 NVIDIA Driver + CUDA 版本，exo 在 macOS 上跑起来的过程实在是太简单了。

[ccbikai]

自力的 ChatX

[Livid]

@ccbikai 感谢。

配上了，能用！

[Donaldo]

cluster 体验如何？

[awah]

MindMac 不行阿, 自从 15 之后疯狂崩溃, 9 月之后都没更新修复. 买了后悔死了

[Livid]

在 Windows 上可以跑在 WSL2 上：

[Livid]

游戏卡用来干这个显存比较紧张。



运算的时候整个 Windows 的 UI 都会卡。

[Livid]

zed 编辑器可能可以支持配合 exo 使用：

[KcKXpykSg2777f5I]

CherryStudio ，功能非常全面

[Vitta]

intel mac 是不是就跟本地模型无缘了

[nutting]

我有个 24G 的 P40 ，有意义跑吗

[Livid]

@nutting 如果已经有 Linux 环境的话，几分钟就可以跑起来。

[wen20]

chatbox

[nutting]

mac m4pro 48G 的，本地跑什么模型比较均衡啊，试了一下 qwen-coder:32B,内存嗖嗖增长

[nrtEBH]

exo 和 LM studio 比有什么优势呢

[Livid]

@nrtEBH exo 如果在内网的几台机器上启动，会自动组成一个群集。

只是，用一堆小机器跑超大模型这件事情可能本身就比较扯。