自己在 x86 + nVidia 平台上面，搭建一个 deepseek ，真是怎么快怎么来，舒服一个字。
在公司华为的昇腾 arm + npu 平台搭建一个 mindie 推理框架，居然让我有种想转行的挫败感，搞死我了（哭。
第 1 条附言 · 29 天前
ollama 不支持，行，这个本来只适合科研或者原型开发，不适合大规模商用。
vllm ，适配了，但限定少数型号，公司花大价钱买的型号不在支持范围。
那就剩下那个什么 mindie 支持部署 deepseek 蒸馏模型，一看那个文档，我勒个去，从业多年我是没见过这么复杂的部署方式，还要用一大坨一大坨 python 代码验证。
vllm ，适配了，但限定少数型号，公司花大价钱买的型号不在支持范围。
那就剩下那个什么 mindie 支持部署 deepseek 蒸馏模型，一看那个文档，我勒个去，从业多年我是没见过这么复杂的部署方式，还要用一大坨一大坨 python 代码验证。
第 2 条附言 · 29 天前
厂家派了个运维工程师搞了一天过来支援都部署不成功，跑大模型还会死机，哈哈，哈哈（哭😭
 |
1
zqqian 29 天前
学会克服在别的地方不存在的困难
 |
 |
2
cyp0633 29 天前
恐怕昇腾在一众信创方案里已经算简单的了，华为还是真想拿来卖钱的
|
 |
3
frankies 29 天前
搞信创就这样，平白无故增加毫无意义的工作量，不过习惯就好啦，又不是不给工资😂
|
 |
4
mumbler 29 天前
你会在昇腾上搭建 deepseek ，你知道这个技能值多少钱吗？帮一个公司搭一套收 10 万一点都不多
|
 |
5
zhaoxj58 29 天前
老哥，真有这么值钱？
|
 |
6
darkingwalker 27 天前
我在海光平台上跑起来了 ollama+deepseek ，但是跑起来之后的问题也很多，现在做这块儿内容的感觉就是资料很少、问题很多、还没啥人能交流
|
 |
7
mmdsun 27 天前 via iPhone
华为不是有个超融合一体机么 最近适配了 Deepseek 模型 试试那个
|
Select Language