展品 005 · 全局推送厅

一次客户配置,唤醒了潜伏几周的 bug

· 不到 1 小时

影响 4.0/10

  1. 1几周前部署的一次软件变更带着一个潜伏的 bug
  2. 2一个客户推送了一次合法的配置变更
  3. 3这次变更在整个边缘网络上触发了那个 bug
  4. 4网络大部分节点开始报错,几家大新闻网站一片空白
  5. 5工程师找到这项配置并停用,流量恢复 ✕

bug 可以耐心地等,等那个能唤醒它的输入。

来源:Fastly blog, June 2021

影响评估

五个维度各 0 到 10 分,总分 4.0/10 是它们的平均值。影响分怎么算

范围8时长4损失0恢复难度2连锁6
维度分数依据
范围8大部分边缘网络,全球范围
时长449 分钟内 95% 的网络恢复
损失0来源未提及永久损失
恢复难度2停用了那项客户配置
连锁6客户站点一片空白,其中有几家大新闻网站

Fastly 宕机事件(2021 年 6 月)。持续时间:不到 1 小时。从第一个改动到故障,共 5 跳。

在 3D 展厅里看这件展品