展品 007 · 回车键画廊

rm -rf 敲在了主库上

· 约 18 小时,丢了大约 6 小时的数据

影响 5.2/10

  1. 1深夜,和数据库复制延迟缠斗
  2. 2工程师删除一个数据目录,准备重新同步副本
  3. 3那个 shell 连的是主库,不是副本
  4. 4几种备份方式结果都是坏的或空的
  5. 5从预发环境快照恢复,全程公开直播 ✕

从没恢复过的备份只是一个愿望,算不上备份。

来源:GitLab postmortem, February 2017

影响评估

五个维度各 0 到 10 分,总分 5.2/10 是它们的平均值。影响分怎么算

范围6时长8损失6恢复难度6连锁0
维度分数依据
范围6GitLab.com 的全球用户
时长8约 18 小时
损失6丢了大约 6 小时的数据库数据
恢复难度6从预发环境快照恢复
连锁0只影响 GitLab.com

GitLab 数据库误删事故(2017 年 1 月)。持续时间:约 18 小时,丢了大约 6 小时的数据。从第一个改动到故障,共 5 跳。

在 3D 展厅里看这件展品