DevOps for SalesLộ trình
Reliability & security: vận hành và bảo vệ · Bài 3

Incident response

Khách hàng không mua “không bao giờ lỗi”; họ mua “lỗi thì xử lý trong bao lâu”.

Ngày 48 phútincidenton-call
Map tương tácPhát hiện → phân loại → chỉ huy → khắc phục → học lại.Kéo ngang →Mở map
Đang tải map…
TL;DR cho sales
Khách không mua “không bao giờ lỗi”; họ mua “lỗi thì phát hiện và khắc phục trong bao lâu”. Incident response tốt là một sản phẩm, không phải may mắn.

1Vòng đời một sự cố

  1. Phát hiện: alert hoặc khách báo.
  2. Phân loại severity và gọi đúng người.
  3. Incident commander điều phối, giữ timeline.
  4. Mitigation: giảm tác động trước khi tìm root cause.
  5. Comms: cập nhật khách theo nhịp cố định.
  6. Postmortem: action item có owner và deadline.

2Severity và cam kết

  • SEV1: khách hàng không dùng được. Phản hồi trong 5 phút.
  • SEV2: suy giảm một phần. Phản hồi trong 30 phút.
  • SEV3: ảnh hưởng nội bộ hoặc có workaround. Xử lý trong giờ làm việc.

Severity phải được định nghĩa trước, không quyết định trong lúc hoảng.

Blameless postmortem

Mục tiêu là sửa hệ thống, không phải tìm người có lỗi. Nếu người ta sợ bị kỷ luật, họ sẽ giấu thông tin — và sự cố tiếp theo sẽ tệ hơn.

Sales angle

Hỏi: “Ai là incident commander? Khách hàng được cập nhật thế nào? Postmortem có action item không?” Đây là ba câu phân biệt team trưởng thành với team chỉ chữa cháy.

Vai tròTrách nhiệmKhông nên làm
Incident commanderĐiều phối, timeline, quyết địnhTự sửa code
Comms leadCập nhật khách và nội bộĐoán nguyên nhân
On-call engineerChẩn đoán, mitigationÔm hết mọi việc
ScribeGhi timelineTham gia tranh luận

3Hỏi khách điều gì

  • “MTTD và MTTR hiện tại là bao nhiêu?”
  • “Có runbook cho sự cố chính không?”
  • “Ai có quyền rollback ngoài giờ?”
  • “Action item postmortem có được theo dõi không?”
Red flags

Không có on-call. Không có severity definition. Postmortem chỉ để đổ lỗi. Action item không có owner. Khách biết sự cố qua Twitter.

Điểm cần nhớ

  • Giảm tác động trước, tìm nguyên nhân sau.
  • Incident commander không sửa code.
  • Severity phải định nghĩa trước.
  • Postmortem phải có action item có owner.

Nguồn tham khảo

Thực hành tương tác

Điều tra một sự cố

Chọn bước xử lý đúng đầu tiên khi production đang lỗi.

Chưa làm

Chọn hành động đúng nhất ở phút đầu tiên.

Đang tải map…
Evidence
Chọn một evidence bên cạnh để xem chi tiết.
Nguyên nhân gốc