关于 oss 存储数据迁移到本地（搭建本地存储）

[guochenglong]

背景

我司去年在 oss 存储费用达到 100w+，公司觉得费用过高，期望在存储方面可以降本。

方案

目前团队定的方案是放弃 oss ，自己搭建一套本地存储。将 oss 数据迁移到本地，后续各个服务 oss 操作全部替换成操作本地存储。

存储服务：MinIO

问题

请教各位有什么建议和相关经验？

ps：我个人感觉自己实现存储风险很大，要考虑的东西很多，备份，容灾，带宽速度等。

文件类型：音频文件，每个音频大约 40mb 左右。
存储类型：去年 6 月之前全是标准，6 月后标准 50% 低频 50%。
费用：打完折后 100w

[hefish]

这个风险大小跟投资应该是成比例关系的。
自建存储，多投点钱，搞点分布式，搞点冷热备，再搞一些专职人员维护，肯定能做到安全性，效率 兼顾的。

[yinft]

能做到分布式么？带宽资源够么？能解决这些才行

[daimaosix]

文件类型是大文件居多还是海量小文件？在 OSS 用的是什么存储类型？ OSS 存储费用能花 100W+这个量不算小啊，美团技术团队之前在他们的博客分享了自建 MinIO 遇到的挑战，你可以去看一下。

[knives]

好奇数据量有多少，存储哪些类型数据？

个人经验是 MinIO 稳定性不错，但是使用 HDD 存大量小文件性能捉急。另外扩容比较麻烦。

[lcy630409]

没有谈折扣么？ 被别人吃了？
建议计算成本，超过阈值就自建 先算好

[daimaosix]

建议从长计议，多大存储量，100W+这费用阿里肯定给了不少的折扣了，能解决容灾和网络的话，这成本肯定下云会省钱。

[ohayoo]

这个 100 万是纯粹的存储费用还是说包含了文件访问产生的 CDN 费用？
如果是纯粹的存储费用，这得是多少个 P 的海量数据了，缺失是个很大的挑战

[guochenglong]

统一回复下：
1.文件类型：音频文件，每个音频大约 40mb 左右。属于海量小文件。
2.100W 只是存储费用，目前存储使用量在 1000TB 。

[daimaosix]

@guochenglong 海量小文件，强烈不建议使用 MinIO

[opengps]

能花 100W 了，本地当然得考虑很多因素，但其实最好是先别删除-冷存，以备随时能退回 oss 的方案上去

[guochenglong]

@daimaosix
文件类型：音频文件，每个音频大约 40mb 左右。
存储类型：去年 6 月之前全是标准，6 月后标准 50% 低频 50%。
费用：打完折后 100w

[guochenglong]

@knives 各种格式的音频文件（ wav,flac,mp3 等）

[guochenglong]

@ohayoo 只是存储费用，并且是打折后的。存储量 1000TB

[daimaosix]

@guochenglong 回源带宽有多大？应该用了 CDN 吧？初步+保守计算，自建可省下三分之一至少

[guochenglong]

@lcy630409 打完折 100w ，所以打算自建

[guochenglong]

@opengps 是的，现有 oss 文件先不删。

[ksc010]

一样的情况，目前正在逐步迁移到本地

[guochenglong]

@daimaosix 回源带宽 100mb ，用了 cdn 。

[aloxaf]

有些公司，比如七牛，提供了私有云的解决方案。如果你们觉得公有云太贵，自建又没经验，也可以考虑这类服务。

[daimaosix]

@guochenglong 干吧，三分之二省了

[xmumiffy]

回源 100Mbps 机械盘随便都能撑住。一百万费用储存量大概 2PB 左右，按照和 OSS 一样的安全性（仅阵列），半个机柜就够了

[daimaosix]

楼主不介意可以联系我，给你提供 0.035/GB 的价格，按照归档存储的价格提供标准存储

[ursash]

楼主，现在 Cloudera 提供线下部署对象存储的方法，有兴趣可以联系我，微信同号
https://docs.cloudera.com/cdp-private-cloud-base/7.1.8/ozone-storing-data/topics/ozone-config-https-endpoint.html

[dayeye2006199]

贵司这个业务也挺猛的

[trzzzz]

@guochenglong 可以试一下 seaweedfs

[trzzzz]

还有一个方向，还在 oss 上，只不过可以把不常用的放入 [低频存储] 中。费用会降低，只是读取不方便

[reeco]

加个冷数据归档功能就好了

[yuzo555]

1PB 1 年 100w 这个价格，就算全是标准存储也贵了，公司商务可以去阿里腾讯华为百度这些大厂谈谈，绝对能压到更低。

[GooMS]

你这个要求低，直接搞

[defunct9]

刚好都弄过，oss 和 minio 以及 truenas 。你这个用生命周期扔冻桶里比较合适。自建风险太大。前面套 CDN 的话又涉及到带宽，没法弄，到处都是坑。

[totopper312]

我知道有大厂对象存储用的也是 minio ，没有优化，还有一些用 ceph 的，还有一些基于 glusterfs 的，自研的很少，因为对象存储都是基于开源的，比较稳定，所以维护的人并不多，对象存储在云厂商里是比较挣钱的产品。

[knives]

@guochenglong 我这边也做过类似的选型。

当时也测了一轮 Seaweedfs ，在各种场景下性能是好，但是纠删码功能基本残废，数据可靠性很差。能接受双副本/三副本的空间占用的话用 Seaweedfs 倒是没问题……
Ceph 传说运维成本高，对小文件也没有优化，Pass 了。
目前在部署 OZone ，还没开始测试。

[8355]

其实是冷热桶问题，冷桶甚至可以存到网盘里用 api 对接，对实时性要求没那么高的话，热桶数据也不会太多，可以通过业务代码做文件做 cdn 预热，把可访问实时性转嫁给 cdn 。

[vivisidea]

1000TB 的容量，1 本体+2 副本的话，需要 3000T 的磁盘，一台存储服务器按 8T * 12 = 96T 算，80%使用容量，至少需要 40 台，可以算下采购服务器要多少钱，搬迁之后多少年回本（还没算带宽、机架、运维等费用）

[f6x]

自己买硬盘确实省钱. 其他可不一定省钱

[daimaosix]

@8355 放网盘里...大哥你认真的嘛

[ivmm]

咱们有阿里原厂团队来优化过存储价格么？ 没有的话 微信 aGctY3V0ZQ== （已经 base64 加密）



可以帮助阿里云上存储降本，我们很多大型医院、某大型连锁摄影 P 图公司都是我们存储成本优化的客户案例

[xiebinbin666]

缤纷云可以看看

[cwei3790]

有兴趣用火山的吗

[8355]

@daimaosix #36 阿里云盘，可以啊，速度也快，朋友公司他们是这样用的，关键看你对数据的可靠性要求，他们都是内部的一些办公文件存储有办公室 nas 做备份防止云盘线路故障，比较多就是一些 psd cad 文件，成本对比 oss 开销已经可以忽略不计了，他们是几十 TB 这种规模。

[qishua]

这个首先要看你们本地（线下）是否有机房，要是已经有机房，且有对应的 it （ idc ）运维人员，我觉得可以自建。要是没有，都是运维，从头搞的话，不建议，光灾备就够你忙的了

[CaptainD]

我们就是自建的 minio ，存图片，不算纠删码冗余大概 200+TB ，防护措施基本为 0 ，没有任何多余的备份容灾措施，风雨飘摇

建设的时候我们就想用云服务，监控扩容备份都方便，领导嫌贵，资源也给的紧巴巴，根本没有多余空间和服务器做冗余

[Qetesh]

这个体量，难道不考虑使用品牌专业分布式存储吗？ Dell EMC PowerScale 、华为 FusionStorage 等等对象存储

[qiubinren]

40m ，1000TB ，也就千万级的对象，这个量对所有私有云存储厂商来说都 so easy ，你们完全可以先找一些有自研对象存储的私有云厂商（比如我司）要个报价，再比对下自己玩 minio 的成本，看看哪个更合算，哪个风险更低。感兴趣可以联系我，微信：YWJvZGlfOTExMQ==

[Seanfuck]

好奇每年流量费用有多少，这个更贵

[duanxianze]

同好奇，这么大的业务量，一年光 cdn 流量费要多少钱？

[dann73580]

@vivisidea 你这个算法肯定有问题……基本上都是用 24 或者 36 盘的单机了。pb 级别算冗余刚好是一个 4-6 台机器的小集群。半个机架撑死，拿不回企业找 idc 托管也花不了几个钱。

[salmon5]

这个体量还远没到自建的分界线。既然是优化成本，自建硬件、托管费、人力 大概率不舍得投入。
最后大概率一地鸡毛。
最好请厂商来一起优化下。

[salmon5]

特别是过了几年，这堆硬件要报废的时候，一般公司肯定不舍得报废。遗患无穷。

[ansemz]

自己搞完会发现，100w/年真是不贵。但是自己手里留了一堆硬件，骑虎难下。

[tkisme]

目前是近期文件会反复访问，久远的文件以存档为主，下载的几率不大

[brando]

坐等 PB 级别的业务相关人士出现。。。

[panzhc]

MinIO 扩容维护麻烦，Ceph 维护操作方便，另外可以考虑下 JuiceFS