公司内大模型应用，领导打算从阿里百炼平台切换到私有化部署，如何打消他的安全隐私顾虑？

[boringwheat]

1. 业务平台已经在阿里云 ECS 上了；
2. 去年用百炼搭建了一个 RAG 应用（ OSS+百炼向量知识库+API 调用千问）；
今年领导觉得用云平台不安全，打算自建，我应该如何打消他的顾虑；（公司就我一个 IT,如果购买大概率就是买 deepSeek 一体机，实在不想自己再额外看护一套设备）。
目前几个理由：平台的隐私说明，保密协议，大模型的迭代速度，MCP...

[cat9life]

好像还真没有充分的理由来证明国内（外）云厂商没有隐私问题。只能拿协议、合同说事。

[minibear2021]

这种领导你说服不了的，买吧，反正一体机也没多少钱，百八十万肯定能买到了。

[boringwheat]

@cat9life 我的想法是，业务平台（核心保密数据）已经在云上了，基于业务数据的一些 AI 尝试再弄到本地，费时费力不说，开源的效果肯定也比不上付费的，机房环境也不好，我也没有模型本地调优的精力

[boringwheat]

@jstony 倒不是想替公司省钱，单纯就是不想麻烦，而且效果可以预见的是不如云上的

[Mithril]

不太明白，业务都挂在阿里云上还在这个？

至于换不换的，你可以给他算算账。看看你们在知识库和 API 调用上花了多少钱，买台这个一体机要多少钱。

[xuxuxu123]

不要去识图劝说，就直接办就行了；

对接厂商采购硬件的时候，直接沟通清楚风险点：
1 、响应速度
2 、整体费用
3 、后续维护成本
4 、稳定性
.....

把这些情况与厂商沟通结果给领导看，领导自己去做决策用还是不用；最终大概率就是不用了

[xuxuxu123]

@xuxuxu123 你说的问题，那是你的问题；厂商说的问题，那就是真的问题；

[renfei]

云厂商如果真的想看你们的数据，他们还真能看

[boringwheat]

@xuxuxu123 有道理

[bzj]

为什么要打消顾虑，本地部署就得采购硬件，促进消费，部署也麻烦不了多少，你也有了业绩，如果长期大量用可以节省不少成本，多赢的事情

[sparkssssssss]

你多虑了,买一体机你们只管用而已,有问题了,也不用你来处理啊
如果让你窜机器,那才是你该头疼的事情

[snow0]

自己部署的机器弱鸡性能能满足多个人同时使用？

[snow0]

@snow0 google 为了支持 AI 都要建三座核电站了

[murmur]

私有化 deepseek1.5t 显存，嘿 jb 贵，不是大企业根本玩不起，机房还要硬件改造

[null2error]

把看护的钱也一并报到项目里面，让乙方来干呀，你不愿意干的事情，有的是乙方愿意干

[SuperGeorge]

可以去买阿里云大模型本地化部署的一体机，大概 100 多个 W 。

[Meteora626]

百炼那玩意 真不好用，开源的 ragflow dify 都差不多东西，迭代还快 mcp 啥的都能接

[frandy]

我们公司就是一体机，最便宜的那种，模型能力就是幼儿园水平。没什么好让领导打消的，要做好模型的选型，比如你百炼用的满血的，自己部署，用的量化的，出来效果不好，那是你的问题，所以前期做好自己运维大模型的能力。换个角度想想，自己的技能数有多点亮了几个，外加现在招聘市场对 AI 这种渴求度，自己的不满也就打消了。

[lower]

真正的反对是把这件事按 200%去执行！🤣

[sansam]

@xuxuxu123 #7 兄台深谙职场之道啊

[fredweili]

有多少访问量啊？需要多少 GPU 啊？开源模型将来的路线路啊？
这个东西就是成本算账，隐私这玩意说不通

[yinmin]

云上用 ai ，有 2 种方式：调用 api 按 token 收费，租算力自搭建 ai 按服务时间收费。如果领导担心第三方 api 截取对方记录，可以在云上租算力（服务器）搭建 ai

目前 ai 进展太快了，自购硬件可能没几个月就落伍了，不如按月租云服务器

[boringwheat]

@yinmin 我也在推荐云上租用服务器的方案

[boringwheat]

@Meteora626 我算是花钱买服务了，有问题提个工单；另外业务系统的文件都是存在阿里的 oss 的，百炼支持一键导入知识库

[boringwheat]

@fredweili 面子工程，访问量几乎为 0 ；现在大部分公司的 AI 都是找使用场景， 我们今天也在打算强制在某些场景使用（比如决策环境的风险提示）

[Meteora626]

@boringwheat 开源平台基本上都支持 api 导入文件，自己写个定时任务就行了。 但是私有化部署 和商业版本还是有区别的

[gaigechunfeng]

楼主请教一个问题，我们现在是直接调用百炼的 qwen-plus 的 api ，根据进出的 token 收费，但是没做任何定制和训练。我得问题是：百炼是否支持自己提供一些打点数据去做专门的训练？然后如果自己去训练了大模型，收费怎么算？还是根据 token 收吗？

[boringwheat]

@gaigechunfeng 模型调优吗？支持是支持的，但是好像是要租用云主机了，我理解应该租用后按照主机配置、时间收费，跟 tokens 就无关了

[boringwheat]

@gaigechunfeng 建议直接开工单找售前的人聊，可以让本地供应商上面讲解一下