V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
SilenceLL
V2EX  ›  云计算

阿里云大早上来了个惊喜,被客户叼炸了

  •  
  •   SilenceLL · 94 天前 · 43704 次点击
    这是一个创建于 94 天前的主题,其中的信息可能已经有所发展或是发生改变。

    出问题的是我们的供应商,一层一层遭罪。

    尊敬的客户:您好! 北京时间 2025 年 06 月 06 日 02:57 ,阿里云监控发现 aliyuncs.com 域名解析出现异常。04:04 ,阿里云工程师已初步确认导致域名解析出现异常的原因并正在紧急处理中。目前受影响的云产品主要有对象存储 OSS 、内容分发网络 CDN 、容器镜像服务 ACR 、云解析 DNS 等,阿里云工程师正在采取紧急措施以缓解影响,同时我们建议您也可以将本地 localDNS server 指向 223.5.5.5/223.6.6.6 以降低业务影响。若有任何问题,请随时联系我们。

    1 、针对负载均衡 NLB, ALB ,建议客户域名直接修改成 a 记录或者 aaaa 记录调整到 LB 的 Vip 地址快速止血。 注:如果已有 cname 记录,需要将 cname 的先暂停才能增加 a 记录(否则会报冲突)。 阿里云 DNS 增加 DNS A 记录的步骤: https://help.aliyun.com/zh/dns/add-a-dns-record#b79b92b5c7dep a 记录修改成 ipv4 地址解析 aaaa 记录修改成 ipv6 地址解析 2 、客户端侧止血方法:您可以客户端修改本地 localDNS server 指向 223.5.5.5 快速止血。 客户端修改自定义 DNS 服务器地址方法: https://help.aliyun.com/zh/ecs/user-guide/how-do-i-customize-the-dns-settings-of-a-linux-instance 3 、如果您知道业务域名具体解析的 ip , 也可以手工修改客户端的 hosts 文件解析固定 ip 方法快速止血 客户端修改 hosts 方法 https://help.aliyun.com/zh/ecs/user-guide/configure-dns-resolution-for-cloud-assistant 4 、新购买的 ALB ,NLB 的 cname 别名调整到其他域名。存量历史的建议直接改 a 记录或者 aaaa 记录调整到 LB 的 Vip 地址快速止血。"

    240 条回复    2025-06-15 14:15:40 +08:00
    1  2  3  
    fuzzsh
        101
    fuzzsh  
       94 天前   ❤️ 1
    @realpg 域名被 takedown ,注册人已经失去了这个域名的管理权,只能找管理局就是 verisign 退回原来的注册人,其它都操作不了
    > 早期出现了单一的 ns3 记录
    大概率是运营商直接创建了 aliyuncs 域,不去递归了
    去 root-server 递归的话,还是在 shadowserver
    also24
        102
    also24  
       94 天前   ❤️ 1
    SilenceLL
        103
    SilenceLL  
    OP
       94 天前
    @kxg3030 #88 我们早期是直接访问金山云的域名的,所以被金山云的其他客户拖累了。
    jasonkayzk
        104
    jasonkayzk  
       94 天前
    几个云厂商天天都在出幺蛾子,太精彩了!
    zzl22100048
        105
    zzl22100048  
       94 天前
    发公告说恢复了,到现在 ipv6 解析还是到 ss
    zong400
        106
    zong400  
       94 天前   ❤️ 7
    不关注核心问题,扣那 2 个字眼,就叫止血理解不了吗?
    realpg
        107
    realpg  
    PRO
       94 天前
    @fuzzsh #101
    运营商是没有的 因为那样通知就发到我这里了 我有运营商身份...
    所以 大概率还是国内的网络安全部门在上层搞了什么骚操作尽快恢复了访问
    然后现在已经回归了 ns3 ns4 ns5
    edisonwong
        108
    edisonwong  
       94 天前
    有些疑问
    1. 域名解析商不是他自己吗?掌握在自己手里也能 takedown ?
    2. ns 服务器这种不应该国内特色单独“管控一套”?不然美国一改,国内直接报废...我理解得对不?
    gaeco
        109
    gaeco  
       94 天前
    难道我早上去全家自助机买东西他们系统炸了也因为这个?
    SimonOne
        110
    SimonOne  
       94 天前
    为什么要叫“快速止血”,是啥约定俗成的行业术语吗,还是又是阿里黑话啊,直接叫临时/紧急解决方案不行吗。
    pkoukk
        111
    pkoukk  
       94 天前
    @edisonwong 2.ipv6 中国有根服务器了,ipv4 架构没人搞动,影响太大。而且也不是美国一改全部报废,全世界 有十几台根服务器,并不是都在美国。
    liuhaibin
        112
    liuhaibin  
       94 天前
    非要用 .com

    .cn 肯定没这个问题
    unused
        113
    unused  
       94 天前
    @pkoukk 问题是 Verisign 在美国
    maybeonly
        114
    maybeonly  
       94 天前   ❤️ 6
    @pkoukk 中国有 ipv4 根的镜像。关键是 com 的管理权限在 v 手里。换 cn 哪怕 top 呢,也不至于这样。
    至于改某个顶级域,top 烂成那样,也只是整改,不会马上出问题。

    至于中国有根服务器这事情有点风险,因为 gfw 有域名污染,虽然理论上可以让根服务器不过墙,但是之前出过污染影响外国的事情,大家心理还是不舒服的。
    pkoukk
        115
    pkoukk  
       94 天前
    godble
        116
    godble  
       94 天前   ❤️ 1
    @pkoukk 不还是一改全报废吗?
    像这次事情,第一:com 管理权在美国。
    第二:根服务器管理权在美国,国内只有镜像,只能同步上游。
    hellomsg
        117
    hellomsg  
       94 天前
    @xmh51 #89
    @fuzzsh #90 阿里应该把自有服务和用户托管服务的域名隔离开。他是域名的注册主体,下面的东西他都得担责。
    edisonwong
        118
    edisonwong  
       94 天前
    @SimonOne 止损,止血听懂就行,无所谓吧,应该不是阿里特有发明,我接触到的互联网公司不少这么叫。甚至个人觉得 [及时止损] 、 [及时止血] 更形象,我也这么喊的
    jettzhang
        119
    jettzhang  
       94 天前
    hpj
        120
    hpj  
       94 天前 via iPhone
    这下太刺激了啊!
    fuzzsh
        121
    fuzzsh  
       94 天前
    @realpg 哦,那大概是高墙的 DNS 抢答。
    翻了下记录,是欧洲的 NGO 转走了 https://www.rolr.eu/ 估计是黑产利用,被欧洲的执法部门 takedown
    Matthewdev
        122
    Matthewdev  
       94 天前
    我们公司设备掉线 9000 台
    mytsing520
        123
    mytsing520  
    PRO
       94 天前   ❤️ 1
    @fuzzsh
    The Shadowserver Foundation 拥有美国和荷兰两个国家的基金会免税身份
    fuzzsh
        124
    fuzzsh  
       94 天前
    @hellomsg aliyuncs 就是云资源的默认域名啊,你自己的域名也是 cname 过去 aliyuncs
    hellomsg
        125
    hellomsg  
       94 天前
    @gaeco #109 老哥,你的头像让多少人屏蔽了你,你不要回复我,已经把你屏蔽了😂
    gaeco
        126
    gaeco  
       94 天前
    @hellomsg #125 哥你快回来
    salmon5
        127
    salmon5  
       94 天前
    看来那么多故障报告,就没有叫止血的,止 NM 啊,出了这么严重的问题,搁这玩游戏呢
    salmon5
        128
    salmon5  
       94 天前
    不过脑子的
    salmon5
        129
    salmon5  
       94 天前
    “止血”要么做为医学用词,要么是游戏用语
    salmon5
        130
    salmon5  
       94 天前
    你点个外卖,晚到了 1 小时,外卖员让你先喝口水“止血”下
    你打了个滴滴,司机堵车迟到了 30 分钟,司机让你先刷刷抖音“止血”下
    concernedz
        131
    concernedz  
       94 天前
    有没有人总结一下
    KIKI233
        133
    KIKI233  
       94 天前
    推测是 aliyuncs.com 被黑产团伙恶意利用,然后被国外安全团队当恶意域名处置 sinkhole 了。

    参考
    https://mp.weixin.qq.com/s/l1b-eq06NyuN61cqZoYJjA
    https://www.ha.edu.cn/upload/202404/22/202404221033499010.pdf
    docx
        134
    docx  
       94 天前 via iPhone
    @SkyOfWood 用菜鸟的面单系统打出来的码,必然是阿里合作的广告商
    xyz3210
        135
    xyz3210  
       94 天前 via iPhone
    @nealHuang 不是代理!初步怀疑是有人拿这个域名做了违法的事情。然后被举报了,这个域名解析被拖到了一个沉没服务器里面
    xyz3210
        136
    xyz3210  
       94 天前 via iPhone
    @smallparking 海外的至今还是 404
    pylionv
        137
    pylionv  
       94 天前
    估计是个人对象存储域名有违法的问题,导致域名被 shadowserver 拖走了
    xyz3210
        138
    xyz3210  
       94 天前 via iPhone
    @liuhaibin cn 没有任何用户隐私,管理更加混乱
    skiy
        139
    skiy  
       94 天前 via iPhone
    @xyz3210 cn 管理乱是乱,但绝对不敢对基础厂商下手。就算下手,也会让你整改,给个时间。比如微信群和微信,乱的可多了…
    salmon5
        140
    salmon5  
       94 天前
    关键域名找 Markmonitor 管理怎么样?等于付一些保护费
    mytsing520
        141
    mytsing520  
    PRO
       94 天前   ❤️ 5
    @salmon5 没啥卵用,今天这个事情是从注册局这边釜底抽薪了,你要知道他域名之前的状态是 serverTransferProhibited (注册局设置禁止转移)
    desGalaxy
        142
    desGalaxy  
       94 天前
    @xmh51 什么法规?有这事的完整说明吗
    polaris8977
        143
    polaris8977  
       94 天前
    4 点被拖起来,来到 v 站果然都在讨论这个
    yaxin
        144
    yaxin  
       94 天前   ❤️ 1
    北京时间 2025 年 06 月 06 日 02:57 ,阿里云监控发现 aliyuncs.com 域名解析出现异常。04:04 ,阿里云工程师已初步确认导致域名解析出现异常的原因并正在紧急处理中。
    04:04 - 02:57 = 1 个多小时,1 个多小时确认了一个域名解析,效率真高
    lambdaq
        145
    lambdaq  
       94 天前
    @skiy 管理混乱的意思就是大概率管理的人不认识哪些是“基础厂商” 。。。
    xmh51
        146
    xmh51  
       94 天前
    @lambdaq 国外也不认识第三方国家的基础域名,aws 你看他敢动吗?
    gadfly3173
        147
    gadfly3173  
       94 天前 via Android   ❤️ 9
    @yaxin 在这事之前,哪个厂商能想到自己域名能被另一个国家直接找注册局强制转移呢?
    ethanwan9
        148
    ethanwan9  
       94 天前
    @xmh51 对的, aws 和阿里云一样也会有很多黑灰产钓鱼网页, 感觉这次可能和美国政府有关系吧 找一个冠冕堂皇的理由搞你
    lambdaq
        149
    lambdaq  
       94 天前
    @xmh51 目前为止没有确切证据是“国外” 动了 aliyuncs 这个域名吧。我怀疑是阿里云自己乌龙。
    xmh51
        150
    xmh51  
       94 天前   ❤️ 4
    @lambdaq whois 转移到 shadowserver 怎么个乌龙法?
    superrichman
        151
    superrichman  
       94 天前
    这次事故等级是 p 几?
    lns103
        152
    lns103  
       94 天前
    @lambdaq 再乌龙也不可能自己把 ns 换成 shadowserver
    fcten
        153
    fcten  
       94 天前
    看了一下我的个人网站从 3 点 16 告警到了 9 点 28……我还以为是监控抽风了……
    sampeng
        154
    sampeng  
       94 天前
    这次事故无法按 P 几算。可以说是阿里云完全瘫痪。因为所有服务都是围绕着这个 aliyuncs.com 来的。国内,海外都跑不掉。魔幻啊。。。史无前例的魔幻。
    salmon5
        155
    salmon5  
       94 天前   ❤️ 1
    @sampeng #154 实际上,很严重,但是没那么严重,阿里云内部的服务器,用的是阿里云自己的 DNS ,没影响
    只有阿里云外部调用了*.aliyuncs.com 域名,有影响
    hellomsg
        156
    hellomsg  
       94 天前
    @sampeng #152 海外的 alb dns 部分不是了
    sampeng
        157
    sampeng  
       94 天前
    @salmon5 内部服务器用阿里云自己的 dns 。也要跪那 2 小时。只是 4 点之后,内部服务的 dns 就恢复了。我们监控就一直在说容器服务无法访问,rabbitmq 无法访问。。。4 点他们查到问题之后就好了。

    alb 倒是还好。凌晨我们没人用。

    我的意思是这个 P 几已经不是阿里云能负责得起的事了。看后续报道吧,1 ,要么就是大事化了小事化无,冷处理。2 要么就是甩锅给某国
    iyaozhen
        158
    iyaozhen  
       94 天前   ❤️ 6
    看来面试题,一个 url 从输入浏览器到网页展示 经历什么,这种面试题还得问
    azhangbing
        159
    azhangbing  
       94 天前
    早上 NGP 不能用了 真牛
    hellomsg
        160
    hellomsg  
       94 天前
    @KIKI233 #133 阿里今后必然收紧对 oss 的审核,不然玩完,成贼窝了
    SkyOfWood
        161
    SkyOfWood  
       94 天前
    @kristofer 用移动端 UA 或者使用手机打开
    ichou
        162
    ichou  
       94 天前   ❤️ 1
    @la2la 这个 OSS 技术有啥关系,你把 aws 域名 ns 干掉它也得炸
    LnTrx
        163
    LnTrx  
       94 天前
    @maybeonly 在中国境内可以新增备案的顶级域都在境内设有服务器,参考《互联网域名管理办法》
    mercury233
        164
    mercury233  
       94 天前
    美国也有能随手干掉一个网站并且不对站长实施物理执法的部门吗

    最接近的应该是 missav ,不过也是法院下达判决后才动的域名(被告缺席)
    Gilfoyle26
        165
    Gilfoyle26  
       94 天前
    @fuzzsh #77 不可抗力😂😂😂😂
    nickyadance23
        166
    nickyadance23  
       94 天前
    @pylionv #137 这样的话连带关系也太重了
    nickyadance23
        167
    nickyadance23  
       94 天前
    @yaxin #144 4 点被告警打醒心脏骤停的体验好吧,1 个多小时能排除掉各种因素确认这种黑天鹅事件我觉得算可以了
    fdrag0n
        168
    fdrag0n  
       94 天前
    美国人自研的 DNS 劫持
    lambdaq
        169
    lambdaq  
       94 天前
    @xmh51 我记得是,运营商遇到 DDoS 或者 botnet 需要找个 sinkhole ,就把 ns 指向 shadowserver 吧? sinkhole 也不止它一家

    还是说这次阿里云事件,是 shadowserver 自己发起 takedown ?
    lambdaq
        170
    lambdaq  
       94 天前
    shadowserver 是个执行和运营机构,也是 sinkhole 的运营方,他们在几个 ip 上跑 dns smtp http 服务,但是只监听不响应,根据这些服务的连接情况搜集来源 ip 出报告。

    一般是所有方把自己的名下的流量断开连接,然后扔到 sinkhole 让 shadowserver 来分析

    shadowserver 要是它们能自己 takedown 就太牛逼了。

    这件事是谁 takedown 的呢?我没找到确切的说法。但是个人推断不是 shadowserver
    c398425861
        171
    c398425861  
       94 天前
    这个是什么域名,什么业务用到
    goodliang87
        172
    goodliang87  
       94 天前
    @salmon5 搞得我都不敢推荐购买阿里云服务了
    kristofer
        173
    kristofer  
       94 天前
    @SkyOfWood #161 原来是这样,确实和 Web 里显示不同
    soTired
        174
    soTired  
       94 天前   ❤️ 2
    根据最新事件通报及历史故障分析,截至 2025 年 6 月 6 日,阿里云 DNS 解析失败的核心事件(涉及 aliyuncs.com 域名劫持)及相关系统性风险梳理如下:

    🔥 ​​一、6 月 6 日重大事件:核心域名被强制劫持​​
    ​​事件时间线​​
    ​​02:57​​:监控发现 aliyuncs.com 域名解析异常,被劫持至安全组织​​Shadowserver​​的服务器( sinkhole.shadowserver.org )。
    ​​04:04​​:工程师确认劫持原因为​​国际执法机构通过域名注册商威瑞信( VeriSign )强制修改解析​​,推测与域名承载的恶意软件检测相关。
    ​​08:11​​:解析异常修复,但全球 DNS 缓存刷新延迟导致部分区域持续故障。
    ​​09:00​​:受影响云服务( OSS 对象存储、CDN 、ACR 容器镜像等)基本恢复。


    ​​劫持原因深度解析​​
    ​​执行机制​​:Shadowserver 作为非营利安全组织,配合执法机构(如 FBI )将涉恶意软件的域名强制解析至监控服务器,以分析恶意流量。
    ​​合规争议​​:
    威瑞信( COM 域名管理机构)未提前通知阿里云直接配合操作,凸显​​国际域名治理单边性风险​​。
    阿里云作为全球前五云厂商,核心域名竟无抗扣押能力,暴露​​基础设施自主权缺失​​。

    好像也并不全都是阿里的问题
    LnTrx
        175
    LnTrx  
       94 天前
    @soTired > 工程师确认劫持原因为​​国际执法机构通过域名注册商威瑞信( VeriSign )强制修改解析​​,推测与域名承载的恶意软件检测相关。

    官方日志里没看到这句话,有出处么?
    cndns
        176
    cndns  
       94 天前
    @lambdaq #169 那会有很多黑客会盯上 shadowserver 运营的服务器?攻破它,黑吃黑。哈哈~
    mhycy
        177
    mhycy  
       94 天前   ❤️ 3
    这事情真要让我们硬脱钩美国这个草台班子啊。
    另,基础设施草台班子的事情太多了,深入了解就会知道很多东西根本没防御性措施。
    被当成政治工具也不奇怪。
    mytsing520
        178
    mytsing520  
    PRO
       94 天前   ❤️ 1
    贴一段早上 8 点多看到的 aliyuncs.com 的 WHOIS 资料,这个时候已经大部分恢复了

    Domain: aliyuncs.com
    Registrant: Stiching Registrar of Last Resort Foundation
    Registrant URL: https://www.rolr.eu
    Status: clientDeleteProhibited, clientTransferProhibited
    Creation Date: 2012-04-01 07:23:40Z
    Registry Expiration Date: 2016-04-01 07:23:40Z
    Update Date: 2025-06-06 00:11:10Z
    Name Servers: ns3.aliyun.com, ns4.aliyun.com, ns5.aliyun.com

    所以,如果说是阿里云自己主动切换注册商,依据不足
    sampeng
        180
    sampeng  
       94 天前
    @soTired 这是 AI 給的信息。不要乱搞。官方没有发通告。我特意去看了一眼官方
    pmman
        181
    pmman  
       94 天前
    @soTired 这是 ai 生成的?
    yeh
        182
    yeh  
       94 天前
    @soTired

    根据 https://www.iana.org/domains/root/db

    .com 和.net 的维护商是 VeriSign Global Registry Services ,但是本案件这个域名的注册商其实是阿里自己。

    Registrar Information
    Name: Alibaba Cloud Computing (Beijing) Co., Ltd.
    IANA ID: 420
    Abuse contact email: [email protected]
    Abuse contact phone: tel:+86.95187
    LnTrx
        183
    LnTrx  
       94 天前
    @soTired 里面并没有你“工程师确认”的依据,都是外部的推测
    soTired
        184
    soTired  
       94 天前
    @sampeng #180
    @pmman #181
    这是 deepseek 生成事故脉络分析,自己也可去验证一些细节,DP 给出的结论基本是正确合理的
    soTired
        185
    soTired  
       94 天前
    @LnTrx #183
    @yeh #182
    VeriSign 本身就是和美国政府合作管理所有域名,在美国政府的授意下 修改阿里的 域名也是可以做到的。
    这种事情就是真的 阿里也没这个胆子表态指着美国政府干的把
    sampeng
        186
    sampeng  
       94 天前
    @soTired 后面全是劫持原因深度解析和合规争议的分析。都是在主观臆断,没有任何信息来源。ds 经常干这种思考没有信息支撑的事。突然就抛出来一个论点,但是没有论据。
    soTired
        187
    soTired  
       94 天前
    @sampeng #186 是的,具体的劫持原因 以及是谁干的 可能很难有公开结论
    LnTrx
        188
    LnTrx  
       94 天前
    @soTired 做可能性的推测没问题,但你“工程师确认”这个明确的信息是哪儿来的,是不是虚假的,应该做出说明
    mytsing520
        189
    mytsing520  
    PRO
       94 天前
    @LnTrx @sampeng @soTired
    可以看一下我在 178 楼的内容
    soTired
        190
    soTired  
       94 天前
    @LnTrx #188 是的,应该注明
    soTired
        191
    soTired  
       94 天前
    @mytsing520 #189

    ​​非营利组织 Shadowserver 的角色定位​​
    技术分析指出,域名被劫持至 sinkhole.shadowserver.org ( Shadowserver 的监控服务器),而该组织长期与​​国际执法机构(如 FBI 、欧洲刑警组织)及域名管理机构( ICANN/威瑞信)​​ 合作,通过强制修改解析来监控恶意流量。这一机制符合行业对域名扣押的常规操作流程。

    ​​威瑞信( VeriSign )的权限依据​​
    由于 aliyuncs.com 是​​.COM 顶级域名​​,其注册管理机构威瑞信作为美国公司,​​必须配合本国或国际执法机构的合法要求​​(如法院指令)修改域名解析。这一规则在 ICANN 协议中有明确规定。
    yeh
        192
    yeh  
       94 天前
    @soTired 法规上是不属于的。按这么讲,cn 都它管了。
    momocraft
        193
    momocraft  
       94 天前   ❤️ 1
    今天已经在不同论坛看到用此事故吹根 DNS 国有的了

    水会越来越浑
    LnTrx
        194
    LnTrx  
       94 天前
    @mytsing520 我有看到,我也觉得执法机构命令 Verisign 是可能的,只是不能把推测和明确的事实混淆。
    这件事还有很多事情没有清晰,比如阿里云自身有没有的问题,让 Verisign 修改解析的到底是谁,以及 Verisign 在境内的服务器的同步为什么没有被阻断,就等待更进一步的消息了。
    soTired
        195
    soTired  
       94 天前
    @yeh #192 这些域名就是在美国管辖,你可以搜搜 2010 年的域名强制收回事件
    LnTrx
        196
    LnTrx  
       94 天前
    @momocraft
    首先,这次出问题的不是根域名解析服务器,是.com 顶级域名解析服务器
    其次,法律规定国内可以备案的顶级域都要在境内设立服务器,可以拒绝境外的修改(其实不在境内设服务器也可以用 DNS 污染改回来)
    最后,即便根服务器被动了,境内的镜像根也可以拒绝同步主根,至少可以保证境内的访问不被中断
    levelworm
        197
    levelworm  
       94 天前 via Android
    @mhycy #177
    求细节
    LnTrx
        198
    LnTrx  
       94 天前
    @momocraft 主要是“根”这个词比较抓眼球,很容易夸大事情的风险做文章
    对于这件事想避免风险,改成国内的注册局就行了。比如阿里自己就有 .xin 这个顶级域,也可以学 AWS 、谷歌、百度、中信、JP 摩根等企业,注册一个阿里的顶级域。
    zhughe
        199
    zhughe  
       94 天前
    @yaxin 可能一个小时在打电话叫起床
    JoeDH
        200
    JoeDH  
       94 天前
    @yaxin #144 4 点被领导的电话狂轰滥炸
    1  2  3  
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   994 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 22:06 · PVG 06:06 · LAX 15:06 · JFK 18:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.