这是一个创建于 370 天前的主题，其中的信息可能已经有所发展或是发生改变。
滴滴在 28 日启动了内部复盘调查。初步确定，这起事故的起因是底层系统软件发生故障，并非网传的“遭受攻击”。
 |
1
ucyo OP 11 月 27 日夜间发生的系统故障，给广大用户造成了诸多困扰和不便，在大家需要我们的时候，我们让大家失望了，再次向大家真诚致歉。
各项服务恢复的同时，我们在 28 日启动了内部复盘调查。初步确定，这起事故的起因是底层系统软件发生故障，并非网传的“遭受攻击”，后续我们将深入开展技术风险隐患排查和升级工作，全面保障服务稳定性，尽最大努力避免类似事故再发生。 目前，滴滴 App 的所有服务已经全部恢复。因这起事故给大家造成的困扰和问题，我们正在加快妥善解决。感谢大家对滴滴的鞭策、关心和包容。今天的滴滴还有很多不足，我们将以此为戒，在全公司范围内深刻反思，全力改正，继续努力做好服务保障。 滴滴出行 2023 年 11 月 29 日 |
 |
2
wcnmm 2023-11-29 15:14:58 +08:00
降薪裁猿，所以走之前留了一个定时 bug （
|
 |
4
lovelylain 2023-11-29 15:26:41 +08:00
到现在还只是初步确定故障原因，也是神奇，有没有知道细节的彦祖说一下，这到底是个什么样的故障？
|
 |
5
mightybruce 2023-11-29 15:31:10 +08:00
已经在一些网站上公布了，是因为 K8s 版本升级升错了，造成基础设施问题。
https://www.oschina.net/news/268635 |
 |
6
binbin0915jjpp 2023-11-29 16:20:21 +08:00
K8S... 运维要祭旗
|
|
7
mightybruce 2023-11-29 16:27:12 +08:00  3
基础设施才会导致这种大规模问题，否则软件版本回滚还是很快的。难道降本增效到了深水区了。
|
 |
8
flyqie 2023-11-29 16:34:21 +08:00 via Android
|
 |
9
cubecube 2023-11-29 16:36:48 +08:00
@lovelylain 内部肯定知道了，就是打个马虎眼，不会公布的
|
 |
10
1145148964 2023-11-29 16:37:53 +08:00 1
连会升级服务器的都没了。。。。。。。。。
事实证明学技术无法不被裁员，得学点其他的 |
 |
11
pandaPapa 2023-11-29 16:39:56 +08:00
K8S 版本错误 不至于搞这么久吧
|
 |
12
leefor2020 2023-11-29 16:42:50 +08:00
@pandaPapa , 可能是找这个原因找了很久
|
|
13
mightybruce 2023-11-29 16:45:42 +08:00
@pandaPapa 如果是集群所有的 master 高可用节点都挂了, 想调度都调度不了。这种错误真的是极其少见。
|
|
14
mightybruce 2023-11-29 16:47:44 +08:00
k8s 跨版本升级是有很多坑的， 像滴滴 K8s 版本这么久还没升级估计就是在做很多测试。 结果版本还升级错了。
|
 |
15
MuSit 2023-11-29 16:55:32 +08:00 via Android
12 还有人在用？ 我很好奇之前滴滴用的啥版本.8?
|
 |
16
hahastudio 2023-11-29 16:58:11 +08:00
说起来网传“遭受攻击”这件事，我是在这个调查说明里才见到的，之前有其他地方传过么
|
 |
18
Frankcox 2023-11-29 17:09:25 +08:00
k8s 1.12 那都是多久之前了，而且更新一个控制节点是怎么做到“污染整个机房”的，我个人是很怀疑网传这事的真假的
|
 |
23
seers 2023-11-29 17:13:09 +08:00 via iPhone
滴滴没找云厂商托管，比较诧异
|
 |
24
4771314 2023-11-29 17:15:08 +08:00
降本增笑
|
 |
25
me1onsoda 2023-11-29 17:15:46 +08:00
@leefor2020 很容易定位吧，资源调度不了，最近又刚升级 k8s ，很容易联想到啊
|
 |
26
shenlanAZ 2023-11-29 17:18:48 +08:00
连滴滴旗下的新能源充电站都挂了，真的是该去去中心化了
|
 |
27
Masoud2023 2023-11-29 17:21:23 +08:00
k8s 这么脆的？ 1.18 升 1.20 都能炸成这样？
|
|
28
Masoud2023 2023-11-29 17:21:41 +08:00
打错，1.12
|
 |
29
k9982874 2023-11-29 17:25:32 +08:00
刚入职的运维：sudo apt-get update && sudo apt-get -y upgrade
滴滴监控系统：Alarm! Alarm! Alarm! System Down! |
|
30
mightybruce 2023-11-29 17:26:22 +08:00 1
滴滴技术自己写的 k8s 升级
https://mp.weixin.qq.com/s/nMSIsS72fSXGqJO9Vy_Pfw 像大厂商都会自建 IDC, 不然投资人为什么愿意在当年投资那么多钱给它， 你只有花得多，才会有更多的投资。 |
|
31
mightybruce 2023-11-29 17:59:46 +08:00
K8s 跨版本升级是很危险的， 除非集群里 没有任何第三方的 Operator 完全是自研的 而且充分考虑到兼容度， 代码全部改过了，你无法保证各种依赖的兼容性。
一般都是升级到高一个版本，中间版本慢慢过渡，1.12 到 1.20 属于艺高人胆大。 |
 |
32
xinshoushanglu 2023-11-29 19:11:58 +08:00
疯狂作死，
|
 |
33
davis2023 2023-11-29 20:47:14 +08:00
这种没有 devops 工具流水线一个环境一个环境推送吗？
|
 |
34
chenyx9 2023-11-30 02:33:08 +08:00
降本增笑
|
 |
35
xuanbg 2023-11-30 03:45:54 +08:00
@mightybruce 照这个文档说的，滴滴不是早在一个月前就把 k8s 升级到 1.20 了么？
|
 |
38
SilentOrFight 2023-11-30 10:19:45 +08:00
@mightybruce #30 规模大，应该是自建比上云便宜多了吧
|
 |
39
EchoJose 2023-11-30 11:40:23 +08:00
这告诉我们一个道理，运行的好好的软件就不要乱升级想搞大新闻，又不是不能用🤡
|
 |
40
mingqing 2023-11-30 14:12:59 +08:00
看看有没有官方通告
|
 |
41
xu2goyuchen 2023-11-30 14:35:31 +08:00
真相是昂贵的，影响股票价格的，就会跟之前阿里云的一样，默默消失在视野中
|
Select Language