V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
Jackyxiaoc
V2EX  ›  云计算

请问是否有廉价的云储存方案(仅为归档储存)。详细需求如下

  •  1
     
  •   Jackyxiaoc · 2018-10-24 08:59:38 +08:00 · 9932 次点击
    这是一个创建于 2225 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近接到老板的需求,要把监控视频永久储存。请问各位 v 友是否有廉价可靠的储存方案提供。

    测试环境情况如下:
    摄像头数:4
    摄像头每周产生的数据:550g
    一年数据:26.5T
    十年数据:265T

    实际环境摄像头数量数百个。

    目前考虑过以下几个方案:
    1.自建——成本太高
    2.G Suite ——成本可以接受,需要梯子
    3.百度网盘——成本与自建差不多
    4.OSS 、COS、S3 ——成本太高
    5.欢迎各位推荐...不剩感激。
    142 条回复    2018-10-30 18:58:06 +08:00
    1  2  
    l4ever
        101
    l4ever  
       2018-10-25 08:44:51 +08:00   ❤️ 1
    监控保留这么久干嘛,可以试试把静态画面过滤掉不保存.只保存有有移动的画面
    这样容量会小很多吧.
    yingfengi
        102
    yingfengi  
       2018-10-25 08:48:45 +08:00 via Android   ❤️ 1
    海康 smart.265 了解下
    永久存储建议磁带📼
    系统集成路过,我见过最变态的这就存储 3 年,你这永久存储怕不是拍脑袋决定的。
    xiaocsl
        103
    xiaocsl  
       2018-10-25 08:51:57 +08:00   ❤️ 3
    LTT 刚好有类似同样的需求,关于 G 家的,可以看一下这个视频,





    踩了限速的大坑以后,最后还是上了磁带机..

    xiaocsl
        104
    xiaocsl  
       2018-10-25 08:52:53 +08:00
    记忆中上面两个视频 B 站的官方字幕组有做过.
    xiaocsl
        105
    xiaocsl  
       2018-10-25 08:54:09 +08:00
    LTT 的论坛也有讨论相关问题的帖子,可以看看说不准有合适的其他方案.
    xyjincan
        106
    xyjincan  
       2018-10-25 09:28:44 +08:00
    备份几份啊?
    Rheinmetal
        107
    Rheinmetal  
       2018-10-25 10:49:26 +08:00   ❤️ 1
    https://www.bilibili.com/video/av32596220
    https://www.bilibili.com/video/av30224473

    @Jackyxiaoc 具体看这两个视频 LTT 的 1PB 左右的视频素材备份 开始是 Gsuite 上传 限速之后 最后还是用了磁带机
    Jackyxiaoc
        108
    Jackyxiaoc  
    OP
       2018-10-25 11:26:18 +08:00
    @l4ever 某些特殊需要,要保证视频的完整性。
    @yingfengi 谢谢

    @xiaocsl 谢谢
    @Rheinmetal 谢谢 我也在看 g 家的
    @xyjincan 一份就好了
    Rheinmetal
        109
    Rheinmetal  
       2018-10-25 11:36:46 +08:00   ❤️ 1
    @Jackyxiaoc
    油管下面有评论说 应该用专门的服务器连磁带机 价格差不多

    Why not use a 1U HPE StoreEver 1/8 G2 autoloader (8 slots with 1 LTO 8 streamer means it can store 96TB before you have to change tapes) with 6Gb SAS or 8Gb fiberchannel so it can connect to a server using a standard HBA in Windows or Linux, fits in the nice rack you have, has hardware AES encryption and costs about the same.
    LTT 论坛里面的回复也有很多方案
    https://linustechtips.com/main/topic/976374-we-got-a-5500-tape-drive
    tiedan
        110
    tiedan  
       2018-10-25 13:19:25 +08:00
    Amazon Glacier
    bigcat0
        111
    bigcat0  
       2018-10-25 15:21:13 +08:00 via Android
    磁带库和 NBU
    Flobit
        112
    Flobit  
       2018-10-25 15:32:37 +08:00 via Android
    建议把预算报给老板,有可能你老板看见预算也就放弃了
    Sapp
        113
    Sapp  
       2018-10-25 17:10:27 +08:00   ❤️ 1
    @dtsover 关键是百度云你传上去了,按照他那个限速德行能下载的下来?
    stabc
        114
    stabc  
       2018-10-25 17:23:15 +08:00
    监控视频大多是静态画面,压缩比会非常大的,不知道你们压缩过视频没有。
    Jackyxiaoc
        115
    Jackyxiaoc  
    OP
       2018-10-25 18:02:44 +08:00
    @bigcat0 谢谢
    @tiedan 谢谢
    @Flobit 不会,特殊需求。

    @Sapp 会员嘛。
    @stabc 测试数据是没有压缩过的。
    zmoe
        116
    zmoe  
       2018-10-25 18:24:29 +08:00
    Backblaze
    kernel
        117
    kernel  
       2018-10-25 18:37:46 +08:00
    我的妈呀 4 个头就 26.5T 一年了,几百个头...
    G 家和百度能被人这么搞早倒毙了,以为明面不限就是真无限了,年轻人太天真了

    你就按移动硬盘的成本给你老板算算大致费用,别整些网盘的来搞笑了
    janezhang
        118
    janezhang  
       2018-10-25 19:07:14 +08:00
    上磁带吧,最便宜。还有就是 TB 级别的数据,直接存在阿里云啥的就行了。
    robot777
        119
    robot777  
       2018-10-25 19:41:56 +08:00
    视频监控存储的解决方案,一般是分时+动态检测+按重要级别定义覆盖时间长
    sumu
        120
    sumu  
       2018-10-25 20:28:44 +08:00   ❤️ 1
    需求=价值,如果需求的价值<<成本,那我们称这个需求为:伪需求
    dtsover
        121
    dtsover  
       2018-10-25 21:50:35 +08:00
    @Sapp 大数据量的存储使用公有云方案是完全错误的
    Raynard
        122
    Raynard  
       2018-10-25 22:11:14 +08:00
    雪量工程啊。。。

    存 OneDrive 试试?
    azh7138m
        123
    azh7138m  
       2018-10-25 22:55:09 +08:00
    @dtsover 100PB 不知道算不算大数据量
    115 迁移到阿里云了解一下
    815979670
        124
    815979670  
       2018-10-26 02:21:16 +08:00 via Android
    之前油管的白嫖王试了很多种存储方法,楼上说的基本都试过 最后选了磁带机 他好像是 PB 级别的数据
    malagebidi
        125
    malagebidi  
       2018-10-26 03:37:48 +08:00
    计算了一下阿里云 OSS 的归档型价格( 0.033/GB/月),每月 2200G 的数据以 72.6 的价格阶梯增长,第一年是 5662.6,总之无论如何比买硬盘划算吧。
    malagebidi
        126
    malagebidi  
       2018-10-26 03:44:50 +08:00
    又看了下美东 1 的价格更低 0.025 元 /GB/月
    malagebidi
        127
    malagebidi  
       2018-10-26 04:01:40 +08:00   ❤️ 1
    视频的话上传之前建议用 x264+高压参数跑一遍( x265 的话不清楚),肯定是能减少大量体积的,或者阿里的话可以上云了在跑
    dtsover
        128
    dtsover  
       2018-10-26 07:51:06 +08:00
    @azh7138m
    可能我少了些定语,用那些云盘模式来完成不靠谱。
    snw
        129
    snw  
       2018-10-26 08:06:13 +08:00 via Android   ❤️ 1
    Amazon 和 Google 都有冷存储,存着比较便宜,但取回挺贵,取回越快越贵。如果需要取回的概率很小,可以考虑。
    iBaoger
        130
    iBaoger  
       2018-10-26 08:15:22 +08:00 via Android
    @AX5N 200 块的树莓派买来压缩
    yangqi
        131
    yangqi  
       2018-10-26 08:21:16 +08:00
    这么大数据肯定是自建最便宜了,最开始可能多花点钱买硬盘,但之后基本就没什么开支了。
    zhchyu999
        132
    zhchyu999  
       2018-10-26 08:29:04 +08:00 via Android
    不说预算提方案都是耍流氓。另外,视频真的不考虑转成压缩后的格式么
    MKDJOJO
        133
    MKDJOJO  
       2018-10-26 10:06:16 +08:00
    自建带宽要求应该没有那么高,除非你们有并发写入和并发读取的需求,理论上需求是储存的话没有必要把数据放云上面,除非主要需求不是安全有效的储存、单冲价格和安全上而言,自建相对于上云成本要低,上云的主要需求是高并发、可以自建做接口过去。而回源带宽的话,可以做不实时导入嘛,监控的数据定时定期导入中央数据库,打乱一下导入库的时间线。带宽的需求就降下来了,把数据中心放到查询量最大的地方,做内网查询,内网带宽的成本就很低了。
    方案应该考虑实际需求比较好分析一点。
    bbbai
        134
    bbbai  
       2018-10-26 11:27:59 +08:00
    磁带吧 ,最稳妥
    aru
        135
    aru  
       2018-10-26 17:01:23 +08:00
    1. 做一下原始视频和压缩为 h265 视频的大小比较(硬件压缩速度非常快)。也许容量只有原来的 1/10
    2. 带宽并不贵,找一下电信代理商,问一下合适的专线带宽价格
    3. 推荐自建一个小型的企业 idc 机房(我感觉你们应该有了),服务器容量只要足够存储半年的就行了,剩下的文件磁带归档
    后期成本磁带、每月专线租金、电费,感觉每 G 成本应该在 5 分钱以内
    Jackyxiaoc
        136
    Jackyxiaoc  
    OP
       2018-10-26 18:41:26 +08:00
    @zmoe 谢谢,这个确实不错。
    @kernel 和某度盘谈了一下,250/T 可以无限买。

    @sumu 确实是这样的。

    @Raynard onedrive 确实也想过,怕玩坏了。
    @815979670 感谢。
    @malagebidi 比硬盘贵。


    @yangqi 对。

    @zhchyu999 预算每 T 储存成本不超 450.

    @MKDJOJO 对。
    @bbbai 是的。
    @aru 谢谢。
    chinaglwo
        137
    chinaglwo  
       2018-10-29 00:29:48 +08:00
    @Jackyxiaoc 有个方案,不过只能支持 3 年,阿里云最近 oss 搞活动,10 月 31 号就到期了,抓紧。地址: http://whe.red/oss

    10TB / 3 年 标准存储才 999 元,便宜吧? 注意不包括下行流量费用哦,但至少上传是免费的,应该能达到几十 M 的带宽吧。
    但是要求新用户,所以,可以多注册多个账号,用不同的 IP、手机号、实名认证,支付宝支付。

    但 oss 本身可以跨账号挂载的,也就是说,多个账号下的 oss,可以挂载到同一个服务器下面,自己规划下如何存储即可。
    Jackyxiaoc
        138
    Jackyxiaoc  
    OP
       2018-10-29 08:24:34 +08:00
    @chinaglwo 三年以后怎么办...
    chinaglwo
        139
    chinaglwo  
       2018-10-29 09:53:57 +08:00
    @Jackyxiaoc 照现在的发展,3 年后的事情根本说不清楚,也许到时候云存储已经便宜到烂。即便是三年后你再变成自建的方案,估计也便宜了很多,并且帮你节约了三年的时间成本。所以我认为没必要做 10 年规划,时间会限制我们的想象力。
    cdh1075
        140
    cdh1075  
       2018-10-30 14:00:00 +08:00
    7000 买个外置磁带机 磁带 200 块一个,一个 6t 一年 4 盘十年 40 盘,总共 1.5 万,最关键是省心,用云不一定哪天就跑路了或者成八秒短片了,运营商改定价了你得和运营商+老板两头撕逼,你还得费心维护账号,还要防止疲劳工作点一下鼠标全没了,哪天运营商不干了你还得手忙脚乱的找容器把那些数据存到本地,用磁带是实物锁柜子里老板看了放心你维护也省心
    Jackyxiaoc
        141
    Jackyxiaoc  
    OP
       2018-10-30 16:40:15 +08:00
    @chinaglwo 非常感谢。
    @cdh1075 谢谢,这个不错。
    xubin12346
        142
    xubin12346  
       2018-10-30 18:58:06 +08:00
    @Jackyxiaoc 七牛啊
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3395 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 00:42 · PVG 08:42 · LAX 16:42 · JFK 19:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.