展品 007 · 回车键画廊
rm -rf 敲在了主库上
影响 5.2/10
- 1深夜,和数据库复制延迟缠斗
- 2工程师删除一个数据目录,准备重新同步副本
- 3那个 shell 连的是主库,不是副本
- 4几种备份方式结果都是坏的或空的
- 5从预发环境快照恢复,全程公开直播 ✕
从没恢复过的备份只是一个愿望,算不上备份。
来源:GitLab postmortem, February 2017
展品 007 · 回车键画廊
影响 5.2/10
从没恢复过的备份只是一个愿望,算不上备份。
来源:GitLab postmortem, February 2017
五个维度各 0 到 10 分,总分 5.2/10 是它们的平均值。影响分怎么算
| 维度 | 分数 | 依据 |
|---|---|---|
| 范围 | 6 | GitLab.com 的全球用户 |
| 时长 | 8 | 约 18 小时 |
| 损失 | 6 | 丢了大约 6 小时的数据库数据 |
| 恢复难度 | 6 | 从预发环境快照恢复 |
| 连锁 | 0 | 只影响 GitLab.com |
GitLab 数据库误删事故(2017 年 1 月)。持续时间:约 18 小时,丢了大约 6 小时的数据。从第一个改动到故障,共 5 跳。