本地部署 AI 的意义在哪里？涉密？

[pdog18]

DeepSeek 出来以后我个人在互联网上总是会刷到一些本地部署的相关内容，不明白意义何在

[usVexMownCzar]

不联网，针对性优化。涉密是其中一个考虑。

[wolffcat]

本质就是和极客一样，明知道蒸馏模型还跑不快最多陪聊机器人还要折腾一番，我想起来搞爱快的那帮人往往没有具体实际的需求。

[sujin190]

目前来看能多花钱就是最大意义，后面说不好

[wolffcat]

庙小妖风大，池浅王八多。

[whileFalse]

教他涩涩

[07H56wMvTJUc4rcf]

解除封印

[mumbler]

只要真想好好用 AI ，必然会遇到数据安全问题，特别是企业应用

严格说 cursor 这种工具有很大安全隐患，内部 api ，算法，key ，数据全要给云端大模型看，不能依赖商业公司自律，迟早需要用本地部署模型替代的

[rqYzyAced2NbD8fw]

@wolffcat #2 爱快可太有具体需求了，我家软路由挂了全家网络都难受（透明代理）

[NoOneNoBody]

1. 涉密，假如贵司所有工作报告都经 AI 润色，贵司所有项目的文档都经 AI 管理方便查阅
2. 专用，贵司的项目有垂直深度，需要 AI 适应很多特殊领域术语和文档
3. 自主，本地 AI 是自己控制，联网则受制于人

[wolffcat]

@LanhuaMa 好吧，我恩山夸张的见得多了，才几十平米搞光纤传输无线 AP ，爱快这边图形化连命令行都没有（刻板影响），我亲身经历在学生时代有人在选修课发群里炫耀一个老旧电脑 300 瓦装爱快，这个 b 恶心坏我了。

[Fule]

我想看看我的显卡显存和 GPU 全部吃满的样子……让我觉得我这大价钱没白花……

[wolffcat]

@Fule 哈哈哈，我觉得可以去矿场锻炼一番。

[hafuhafu]

那种视频是在纯粹在借热度引流吸引人。

不过本地部署确实是个很实用的需求，只不过目前对于个人或一般企业而言部署一个好用的成本太高了。参数低的没啥用，参数高的又部署不起。

场景也挺多的，企业涉密是一方面。

对于个人而言还有各种敏感词审查以及隐私方面的问题，以及官方的各种限制。

我之前有弄个联网搜索的工作流，我就不敢把搜索结果丢国内的 API ，太危险了...像 Github 上有一些专注于各种国内敏感词的仓库的 SEO 还特别高。被封号了还是小事。丢本地 LLM 就不用考虑这些了。

[billytom]

1 、国内是最不安全的，那几个公司都有把你数据当成他们数据的思想
2 、国外稍微安全些，但就是怕那天突然全面东西分离突然就失联了
=
自己建对于稳定的业务长远的考虑大的，特别是 guojia 级的企业，是必须的

[plasticman64]

已经有部分地方公安在本地部署 Deepseek 了

[julyclyde]

说好听点叫练手
说不好听就是自主知识产权

[gpt5]

很多云服务比如 azure 也提供本地部署，不光是 ai 。

[iorilu]

大公司很多服务都要求本地部署的, 随便啥东西, 更别说什么银行等国企了

[momo1pm]

你先定义下部署啥样的，不是满血的就别说了

[paopjian]

核心是卖课啊, 现在视频平台什么火了先想想他们是不是要卖课了, 要不然就是引流, 企业真需要自己部署的早去买服务或者调研了, 我就见过一个套皮 dify 的, 号称全流程自研, 结果买个云服务两毛钱都抠搜

[Librola]

以前本地部署是为了搞涩涩，现在 grok 出来以后涩涩随便写，就再也没有自己部署过了。

[duanxianze]

大公司和政府才需要，就是为了不连外网

[psllll]

因为 服务器繁忙，请稍后再试

[aliveyang]

因为酷

[lovedebug]

意义在于我实现了本地部署 AI ，然后继续用 API

[zy5a59]

现在大部分本地部署 DeepSeek 的，都是引流然后做知识付费的，本质就是蹭一波 DeepSeek 的流量。

[LaTero]

有些企业有需求，但是那些视频都是营销蹭流量的，忽略即可。它们练 DeepSeek R1 到底有多大都不知道，随便弄个 14B 的蒸馏小模型糊弄一下，反正目标观众也不会真的去试，毕竟他们看这种视频只是为了情绪价值，顺便骂一下英伟达。

[laydown]

等待未来。

[dddd1919]

如果将来开源 AI 能支持多模态，就可以用盘里的老师们制作出更适合自己的学习资料，这个公网 AI 是绝对没法办到的

[lthon]

自定义也可以算一个理由吧

[xvan]

toG 都得私有化部署

[tsja]

应付领导对 DeepSeek 的喜爱

[nomagick]

本地运行的模型，不受 《生成式人工智能服务管理暂行办法》 的约束

[wangyzj]

数据安全是很重要的一方面

[Eagleyes]

自建 NAS 的意义在哪里？

本地存储好处是，你永远不用担心资源被下架。

[Baymaxbowen]

我们的系统客户都是银行，全部都是内部系统，这种只能通过本地部署来实现

[fivee]

现阶段一个明显的意义就是能够让地方政府或者事业单位合理花钱

[lpxxn]

让我的 gpu 跑满，心里不是很爽的

[germain]

很多地级政府都在推本地部署“一体机”，最多跑个 30B 的模型，采购费用大家都懂。

[edony]

2B 场景下，安全问题也是重要的考虑之一。

对企业而言，最重要的是内部数据，你永远无法保证外部的服务会不会保存和利用你的数据。例如，你怎么确定豆包/kimi/千问/DS 等等不会根据你提交的“我出生 xxxx 年 xx 月 xx 日 xx 时 xx 分 xx 秒，身份证号是 yyyyyyyy ，帮我算一下我 2025 的运势”来定向推送广告呢？更何况你给大模型的还有 fine-tune 的时候那些重要的领域数据甚至机密数据。所以企业的做法宁可错杀也不放过 —— 所有的都要掌握在自己手里宁可花点钱自己部署。

[craftx]

1. “安全”
2. 宏观经济发展需要
3. 懂的都懂

[craftx]

不知道有没有人听说过 当年某地方 gov 采购一批 iphone 当 u 盘

[civetcat]

平时碰到比较多的大概就是网络问题，隐私问题，以及各种产品本身的限制，本地部署可以很方便的解决这些问题，没有任何限制，可以随意折腾适合自己的。目前本地部署的门槛还是太高了，性能也稍微弱一点

[uncat]

本地 4 块 3090 。

2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为沉浸式翻译的翻译后端 + openwebui 后端。看论文/文档很爽。
另外 2 块 3090 部署的 qwen coder 2.5 q8 ，VPN 组网（ wireguard ）后，作为 vscode continue 的后端（体验一般）。

因为 continue 会导致 ollama 模型重新加载，所以就独立部署了 2 个 ollama 服务端（每台主机 2 张卡）。

[Felldeadbird]

你可以自行调教自己的 AI ，前提你有技术和硬件。

大部分公司都没这个能力。然而不少公司却追求：本地部署，生怕错过了时代风口。

[Leeeeex]

内部微调
我朋友他们公司买了 20 张 4090 10 张 h20 专门训练，针对自己的业务内部训练。

[pinocc012]

公司政策是禁止任何数据上互联网，当然也就不能用任何公网的云服务

[dayeye2006199]

99%的情况都没啥意义。搞台大点的机器，ollama run 一下不叫本地部署。
数据安全隐私这些东西，最好是靠法律法规来保障。

[Revenant]

原因

[ccdjh]

其实是有意义的。公司会遇到财务与业务的不对等信息，库存与资金的不对等信息。有些业务员能通过延迟拖欠几十万款项，有些库存的折旧或变卖，能中饱私囊的。信息的公开并不等于老板或决策层能读懂的。不用过万，但凡过千的数据，都需要总结才能读懂。

AI 能让减少缩短这个时间差。让老板和决策层更清晰的知道信息，能压缩到几分钟的事情。
因为工作的拖延性，处理一项事情，拉长几天，或者一个星期以上是很常见的。

AI 可以综合处理，提高决策效率，而且不会有根据自己的利益，对事情的描述的人为偏袒。

[billwang]

开源了就有人开始“创新”了。某些单位好像部署一套以后就是自己开发的一样，LD 面子也有了，下面政绩也出来了。

[yianing]

2000 块跑满血 671b ，垃圾佬的快乐

[asdjgfr]

@yianing 2000 就能跑满血？都什么配置呀？买矿渣也不够吧

[dododada]

公司上了规模就会有数据安全的要求，一个是自身发展的需要，一个是安全合规的需要

[skytenlc]

政务信息

[yufeng0681]

企业，单位老生常谈的泄密，隐私保护解决了， 就能迎来一大批的商业化项目 [忽悠上面领导做项目的核心痛点被解决了，可以开始捞钱了]

[clemente]

LOCAL FIRST

[levelworm]

涉密加回答更加精准吧？

[clino]

你如果是负责公司安全的人员，或者是某个业务的领导，可能会对因为使用云 api 导致内部信息泄漏的事故负责背锅，那么你在做出放行使用云 api 的时候会不会思虑再三？
更别说涉及政府机关内部信息这种更敏感的了。
这和某个干活的人，知道自己涉及的信息没什么要紧的就随意使用是很不一样的。

[CodeAllen]

最大的优势就是隐私保护，对于企业来说，尤其是涉密企业，事儿可以不干但千万不能泄露信息。
而且企业的数据，比如内部文档、内部代码，给到外部系统做处理，原则上外部系统是需要保护客户隐私，实际上能不能保护到位那是另外一回事儿，数据不出域是最稳妥的。

[jchnxu]

@germain 这种东西感觉是重灾区。。。我看到过那种除了领导来视察没人会用的

[levn]

1 内容审查
2 保密
3 速度与延迟
4 可以自定义化设定，可以运行自定义的模型、冷门的模型或者微调模型
5 不会因为在线模型换代而破坏稳定性和一致性

[MYDB]

在线满血版都不能满足我的正确率，更别提本地部署了，非热门领域现阶段还是自己查资料靠谱

[DigitaIOcean]

形式保密不一定保密
但形式不保密则一定不保密

[ShadowPower]

我猜 OP 想问的是：
个人本地部署 AI 的意义在哪里

其实真正的答案是：玩

对于 deepseek 这样的模型，有个好玩的地方。本地部署的话可以在任何位置继续生成，所以有时候可以把思维过程给改了，手动结束思考，然后看看它会回答什么。

[label]

@wolffcat #4 水浅王八多, 遍地是大哥

[pkoukk]

楼上的估计没怎么部署过..
整过 sd 和 llm 的告诉你，为了 GHS ！

[spacebound]

今年政企行业相关软件开发都在削尖了脑袋搞 DeepSeek 接入，都要体现 AI 的能力。
那好了，遇到的第一个问题就是能不能本地化部署、能不能上信创环境。

[EndlessMemory]

不用付钱

[ryan4290]

政务还是很需要这个的。

[Daybyedream]

本地

[zhoucheng]

就个人来说,要想本地部署的 ai 有不错的性能,需要一个顶级配置的电脑,或者高内存版 macbook pro,不然还是老实用线上的吧

[Hookery]

军工单位涉密。连外网都连不了。

[Sting1226]

本地部署主要就是可控。

[ccloving]

@LanhuaMa 爱快还有透明代理？

[yianing]

@asdjgfr https://www.bilibili.com/video/BV1YEPvepEvf/ 速度极慢，2t/s

[wolffcat]

在座的评论区哪一个是涉密单位，哪一个是科研院所，哪一个是集团要求，哪一个批项目经费了？还有提到安全人员避免背锅，哪一个是安全人员，哪一个背了锅？
“安全可控”不过就是意淫一番。
部署有甲方有供应商，用得个人吗？