腾讯云更新了[硬盘丢失数据]原因。人工运维迁移数据，跳过数据校验和跳过数据留存

[wph95]

https://mp.weixin.qq.com/s/8JSPY6vHPhg8pX0JwjqttQ

第一是正常数据搬迁流程默认开启数据校验，开启之后可以有效发现并规避源端数据异常，保障搬迁数据正确性，但是运维人员为了加速完成搬迁任务，违规关闭了数据校验；

二是正常数据搬迁完成之后，源仓库数据应保留 24 小时，用于搬迁异常情况下的数据恢复，但是运维人员为了尽快降低仓库使用率，违规对源仓库进行了数据回收。

[yexm0]

也就是说这件事完完全全是可以避免的咯?

[feverzsj]

运维锅已经背好了

[humansjl]

如果真是这样的话应该运维 leader 一起背锅，培训、审计均不到位。

[wph95]

@yexm0
如果固件 bug 不是能避免的 凭啥敢说 9 个 9 的数据可靠性。
隔壁帖子有大佬说了的
> 高可用磁盘底层架构为*非同批次*、*非同固件*的等容量、等架构磁盘组建硬件 /软件 RAID

[ryd994]

/t/477457 神预言
@baskice

[chinvo]

疼逊这是完全推翻之前自己关于“硬盘固件 bug ”的说法了

[jalja27]

对亏腾讯不做疫苗

[husons]

这是不是说明赔偿问题还有的谈？

[woodface2233]

又是运维的事情？

[kokutou]

运维：锅我背好了。

[webjin1]

资本家是追求利润最大化的，一分钱一分货。别以为上云就省钱又有保障。硬件成本摆在那。

[LU35]

之前洗地的被啪啪打脸

[Tink]

这不是打自己脸？？？这么蠢么

[somebody18]

@yexm0 不可能避免

长期内部各部门间扯皮导致审计，保护机制跟不上，又有裁撤 KPI，只能手动操作，运维被要求尽快手动回收资源，加上长时间工作，疲劳导致。

[iConnect]

@somebody18 人在极度疲劳状态下，智商真的是很低的。

[ctsed]

赔钱吧

[l32606]

说明产品和技术都是没问题的，多少个 9 都不是在吹牛。问题只是个别人员的导致。安心用吧

[masir]

不靠谱哦

[hzw]

危机公关的思路就是这样的，损失最小化，保腾讯金字招牌不倒，让无名无姓的人来承担责任。这个通告的潜台词就是，第一我腾讯没问题；第二宣传下 我腾讯的制度完善，保障机制合理，请大家放心选购。
说到底，腾讯核心思想还是“糊弄”。

[iConnect]

@hzw 运维里面最不靠谱的确实也是人工操作啊

[zhongkouwei]

@l32606 人员问题才更可怕吧，因为无法避免。技术问题还可以优化

[AllOfMe]

应该楼下会出现，为什么不自己备份的水军

[lcatt]

@LU35 可以去手机微信端看看这篇文章的评论。“有问题敢于承认，敢于公开，好样的”

[AllOfMe]

运维人员能出这个问题，现在不发生以后也会发生，只能尽量完善运维的制度吧

[mengzhuo]

@hzw 请先认真看下通告好么？

整篇通告都是在说鄙厂不好，制度不完善，各个环节有问题。
而且有这种程度的对外复盘，是头一遭。
这里涉及的问题跟 14 楼说的差不多。

你想挂操作运维的名字，这哥们以后就不用干这行了。

很多人想当然，黑大厂作为政治正确了，然而底层运维、程序员都满是无奈。

[Felldeadbird]

运维人员将客户的云盘访问切至仓库Ⅱ，同时为了释放空间，对仓库Ⅰ中的源数据发起了回收操作。
才几分钟就进行回收……不是应该放多 1-2 天才操作了。估计是操作人员对自己的产品过于自信了。

[jeffersonpig]

这时候特别体现出 微信公众号文章底下的评论由公众号自己筛选显示 这一功能体制的重要性。2333333

[lcatt]

@hzw 内部肯定问责的
@mengzhuo 根本原因还是运维管理混乱，风控缺失，真正要改的话是要下不少成本的。

[iwiki]

意思就是所谓的系统有一部分是人工操作，而且没有校验，而所谓的安全性，也就是这些人工操作都要 100%按照要求来做。那么问题就来了，论制度都是满分，论执行都要减分，那他这个多少个 9 都是虚的咯。
感觉就是拉了业务外包给人家做的感觉，人家没做好，也不能怪我咯。

[LadyChunsKite]

@iwiki "论制度都是满分，论执行都要减分"，，，我想到别的地方去了。。

[qbmiller]

配个 13.14 万多好, 更有纪念意义

[hanru]

鹅厂竟然能发这么一篇文章，有些意外。

[chengzhii]

aa

[byuc]

进一步建议之后怎么不给个温馨提示？
温馨提示：
1、云硬盘快照产品将于 2018 年第四季度正式商业化，商业化范围包括腾讯云中国站和国际站的用户，商业化后所有存量快照和新产生的快照将根据占用存储容量进行收费。

[Anhedonia]

腾讯爆抽自己家水军的脸

[n2ex2]

@byuc 套路满满

[momocraft]

推给临时工总比三备份被推翻好

[UGLW]

在 7 牛云 微信公众号看到一个评论。
> Stupid penguin
聪明的人类总是把鸡蛋从一个篮子里挪到另一个篮子里而不自知。往往是为了工具而忘了目的。

[southsala]

超售王

[desususula]

现在看看之前那篇帖子里的水军，差点笑出声

[luoway]

临时工 +1

[swulling]

@byuc 套路，先搞一波危机让大家都用快照，然后收费

套路满满

[tearain]

哈哈哈，看来之前的很多没脑子的水军大部分都是自来水啊

[okwork]

@momocraft 三副本策略也是行业通行的方案，没必要推翻。可能情况是三副本策略没有落实到位，或者实施不规范。

[johnj]

@Felldeadbird 应该是上面急着要空间

[wph95]

@chinvo
不能说完全推翻，
固件 bug 是压垮骆驼的最后一根稻草
故障都是多个意外的叠加

[laucenmi]

是谁的运维问题？

[zhangdawei]

真恶心

[wlsnx]

运维背锅

[jusalun]

- -所以这是天灾+人祸了？

[mhycy]

https://www.v2ex.com/t/477885

看起来有更深层的问题
人祸只是让问题暴露出来了而已

[gclove]

就没说怎么赔偿

[airdge]

在揪出三副本后 总要找一个出来背黑锅

[joysir]

假如是运维操作导致，那么腾讯云资源是得多紧张或者领导是得多没经验，切仓库后马上就回收？而且操作都不需要走流程吗？运维直接关校验、直接回收？

还是认为是三备没落到实处，但是直说是不可能的，毕竟 99.9999999% 摆在那。然后顺势学着临时工说法推到运维头上，毕竟人是可能出错的。

[henneko]

诶？ ifanr 相关报道最高赞的那位拍着胸脯说没用三备份，这么快就打脸啦？

[c0878]

腾讯云这么大的分布式存储系统居然还需要人工操作来平衡容量 不可想象

[pinews]

@mhycy 说的好，就好比领导给你一半的钱让你买正常价位的货，除了违规操作，就是违抗命令，一般情况下，违规操作不一定引发问题，特殊情况下就爆出来了

[mhycy]

@pinews 只是这违规操作的原因。。不敢细想

[LucasLee92]

看得出来腾讯打算糊弄到热度消失了

[qiuqiuer]

腾讯的水军不少

[ihainan]

运维人员是个急性子呀……

[est]

运维：你们都让开。我来背锅。

[openbsd]

@est #62
想多了
运维都是顶着锅上班的

[x7395759]

居然是手动迁移扩容，腾讯云的技术实力还是有待提高。

不过居然可以发一篇这样的文章，表示技术上态度还是可以的。

但是我依旧不信任腾讯云，这件事情需要花很长的时间或者是同类产品出现重大误差时才能够消除影响。

[kkk123]

刚开始不是说硬盘损坏导致？还是我记错了？ 搜了下渣浪还有这新闻描述, 编故事也是一天一版本，PR 够敬业

[yanhao1991]

这么重要的操作竟然可以违反流程操作？感觉不可信

[winglight2016]

@somebody18 说到长时间工作疲劳，有个同事在命令行里敲命令：rm -rf ./*，漏了个.，结果。。。他说是太疲劳的缘故

[jadec0der]

@yanhao1991 重要？不知道做过多少次，日常操作而已。工厂里都有人违反操作流程，把自己玩死，这事要不是苦主出来硬磕，真就屁大点事

[billlee]

@byuc #34 快照也不是真的把数据复制一份吧，按照这样的操作恐怕加快照也没用

[loveour]

这是完完全全腾讯自己管理的锅了呀，这么操作出事只是早晚的事情呀。
@jadec0der 不遵守流程这个确实是有，而且，说实话，有的人连自己的命都可以不顾，就是心特别大，我也不懂为什么。之前看过一个化工行业事故的帖子，很多都是因为有规范不遵守，其实那些规范都是血的教训换来的啊！印象特别深的是一个小哥检修管道，按照规范要先检测是否带压，他就不测，文章作者问他，他还说要不你来，然后打开兜了一头一脸的浓硫酸，很快就死了。还有其实这次的疫苗也是生产不遵守规范，但是这肯定是会出问题而且也早晚会被发现啊！我觉得这个心理真的可以好好探究下，感觉很可能心里想的就是没事的，心存侥幸。

[ryd994]

@billlee 有用
快照不会和原数据放一起
这是一个故障域的概念

[icop]

我就说 玩了勇者的游戏，你们不信。rm -rf *

[ryd994]

@icop 取决于你所在的目录，这可能只是我的日常而已
同时也取决与你的用户。平时不要总是用 root 操作就是这个道理。sudo 前 think again

[mingl0280]

这么蠢的人祸……
腾讯云到底在干什么……

[billlee]

@ryd994 #71 我以为快照是 CoW 的

[aaler88]

云服务不好做，都会出问题，只是出问题多少而已。

[zhh35791]

总要有人背锅