记一次阿里云系统故障、工单处理、自行恢复和事后维权的完整经历

[nonfu]

https://xueyuanjun.com/post/21336

[scukmh]

想知道怎么唬你的。最后那一段。

[wangyzj]

希望不是 20 个 5 元代金券

[eason1874]

不是百倍时间赔偿吗，不算你自己操作时间，纯粹工单耽误时间都有半天了，这半天不是应该赔偿吗?

[foamvalue]

这么强，还能维权？

[nonfu]

@eason1874 这种免不了扯皮 比如怎么算损失 你说你的 他说他的 不好量化 有那精力不如干点别的开心点的事情

[nonfu]

@scukmh 她一个妹子竟然跟我聊操作系统的调用问题 我赶紧刹车 说我不想关心这些

[graceday]

阿里云最近新活动，入门级 ECS 89 元 /年，值不值得入手？买了也不知道做什么

[nonfu]

@wangyzj 不是 那我就不能关工单了 是货真价实的 100 元代金券 有效期是一年

[vus520]

这不千万云的日常么

[nonfu]

@graceday 那就别买了 反正这种活动经常有

[nonfu]

@vus520 千万云是个什么梗

[nonfu]

@foamvalue 人在家中坐 锅从天上来 不维权对不起自己熬的夜

[nandehutu]

基本上各家云的客服，一开始上来都是答非所问，效率很差

[okwork]

楼主心大，用云服务器，每日定期快照是基础保障

[nonfu]

@nandehutu 因为不懂技术

[dreamerlv3ex]

可怜的学院君。

[opengps]

现在的工单服务量太大，确实质量不到位

[nonfu]

@okwork 嗯 是的 主要这是个新启用的机器 一直没顾上做 现在补上了

[nonfu]

@opengps 是的 能理解 靠人去维护的东西都会有这个问题

[wunonglin]

不管怎么说还是要多备份才行，要是万一挂上去还是不能访问那就搞笑了

[ysoserious]

难怪昨天一整天都打不开.

[ysoserious]

下午.

[nonfu]

@wunonglin 是的 这年头 连离职谈话都要多处备份

[nonfu]

@ysoserious 争取以后不再发生这种事情了

[houzhimeng]

被阿里坑过 2 次，果断选择云数据库

[nonfu]

@houzhimeng 公司产品的建议使用云数据库了

[struggle001]

@nonfu 作为一个渣渣运维分享自己的一些想法：
1.生产环境的数据一定不要放在系统盘上（虽然阿里提供的方法可用，但是有一定的风险）
2.数据放在数据盘（扩展盘）的前提下，定期对系统盘进行快照，如果出现类似问题，直接恢复快照，对数据不产生任何影响。也是分分钟恢复的事情。
3.数据库数据要定时进行 sql 备份，用 bash 写定时脚本，留一个月第一天的备份 1 和近 7 天的备份。如果有条件，可以考虑异地或者 pc 本地备份。

os 还是有一定几率会出现损坏的，或者说阿里的分布式存储出了问题，刚好影响你的系统盘（可能性很小）。所以切记不要放在系统盘数据。

我作为云厂商的运维，出现类似问题，因为没有阿里那套恢复快照到新购磁盘的业务逻辑，我会协助他们保存系统数据，之后重置，效率肯定要比阿里快 N 呗。不过小厂商很难混下去。

[struggle001]

@okwork 快照其实对云厂商很不友好，所以都有快照限制的。比如一个用户数据是 100G，打快照之后，所有的 100G 的数据都被修改过，那就额外占用了 100G，在加上 3 副本，实际占用我 600G 的空间。很坑啊。

[nonfu]

@struggle001 嗯 受教 我现在就是按照你这个思路在做的 定期快照+数据库备份 并且数据库备份多处存储 避免单点故障

[struggle001]

@nonfu 所以遇到一次问题 也挺好的。哈哈

[nonfu]

@struggle001 是的 不出问题总以为朗朗乾坤 天下太平 有些事情总是习惯拖着 😂

[turi]

6 个多小时 才 100 块钱

这套路不就是，一榔头加一个枣吗？

一小时 20 块不到，果然白菜价

[ben1024]

阿里云店大欺客的习惯

[okwork]

@struggle001 这个没办法了，快照都是增量的，永远胖下去的。瘦身的办法只好隔段时间重置后再新快照，幸好存储空间一般都不算太贵，胖就胖点吧

[nonfu]

@turi 其他的也没办法量化 之前所在的公司千万级流量 IDC 机房断电导致服务器宕机半天 最后也是不了了之了 跟他们扯皮他们有专门的律师团队 千儿八百块钱的事情也就懒得花时间去理会了

[struggle001]

@okwork 我公司内部用户用了我 20T 的 ssd 空间，x3 就 60T 了，我都要疯了，采购扩容中.....
天天和他斗智斗勇....

[1239305697]

大概意思是：磁盘出问题了，但是磁盘里的数据是正常的
这个算不算运气好，一般不是磁盘出问题了数据就也没有了吗。。

[mmdsun]

想起来 IT 之家 用阿里云期间各种崩溃和反应缓慢，最后阿里只陪了 1 天。

https://www.ithome.com/html/it/267407.htm

[avenger]

为啥不直接用 rds，ecs 上自建数据库风险很大，运行了一年的服务器你也敢重启…… 不能启动很正常，ecs 应该要做成无状态的，随时可以清掉重新部署。

[a1274598858]

为啥你的 ping 这么高？还是在杭州
https://tc.zhensuo.site/2019/12/17/c73b83106eed479cbc9bd743cac5ca2b.png

[aqqwiyth]

mysql 居然一次性恢复成功.

[mytsing520]

@a1274598858
小水管，或水管长期处于高使用率范围内

[nonfu]

@a1274598858 还真是 应该是近期出现的 之前都是几～几十毫秒 明天看下

[nonfu]

@avenger 贵 我这就是个个人博客而已 其实一台 2c4g 机器就够了 没必要花那个冤枉钱

[nonfu]

才 1 天，够狠。。。

[nonfu]

@1239305697 某个操作系统调用环节出问题而不是整个磁盘坏掉

[nonfu]

@aqqwiyth 期间有些坎坷 坑我都绕过了 直接给了最终的指令

[nonfu]

@mmdsun 才 1 天，够狠。。。

[akira]

@nonfu 阿里的产品线里面，rds 其实算是稳定性可以的了。然而还是建议每日自己做一个数据库逻辑备份。
生产服务器上面，最重要的事情就是
备份！备份！备份！

[avenger]

@akira 还要异地备份才放心

[avenger]

@nonfu 比你的数据还贵吗？

[Zach369]

建议使用 rds 吧. 我之前测试过,阿里云 ecs 上面搭建 mysql 和 mongodb 不是很稳定.

[nonfu]

@avenger 我是在 ECS 上搭的 2c4g 3 年¥1500 两年前做活动的时候买的 你说便宜不便宜

[nonfu]

@Zach369 这个等流量再翻几倍再说 😂 毕竟就是个个人博客

[nonfu]

@avenger 看错了 不是贵不贵的问题 是目前实在还没有必要 只是个个人博客 不是商业产品

[nonfu]

@akira 是的 遥想当年美团挂了 饿了么还撑得住就是异地多活的功劳 咱做不了异地多活 做个多处备份 再最低价租个国外 VPS 做备份服务器还是可以的 闲时还能拿来当梯子 美滋滋

[tailf]

买 RDS 吧，不用自己运维，稳定很多。。

[nonfu]

@tailf 但问题是本次故障并不是 MySQL 数据库故障导致 而是 ECS 的问题