Tin công nghệ › Phần mềm & Web
Bên trong sự cố Outlook lịch sử khiến Microsoft điêu đứng
Sự cố sập hệ thống Outlook kéo dài gần 24 giờ của Microsoft xuất phát từ một lỗi ẩn trên máy chủ mạng từ tháng 7. Sự kết hợp của lượng tải tăng cao và lỗi phần cứng đã khiến hơn 80% máy chủ Exchange ngừng hoạt động.

Vào lúc 9 giờ sáng thứ Năm tuần trước, mọi thứ dường như vẫn diễn ra bình thường. Các nhân viên Microsoft đến khuôn viên công ty, sẵn sàng cho một ngày làm việc quen thuộc với email và các cuộc họp. Tuy nhiên, chỉ chưa đầy một giờ sau, một trong những sự cố tồi tệ nhất lịch sử Microsoft bắt đầu bùng phát, khiến nhân viên, doanh nghiệp và nhiều cơ quan chính phủ không thể truy cập email Outlook trong gần 24 giờ.
Mọi chuyện bắt đầu từ Thụy Sĩ, theo một nguồn tin quen thuộc với sự cố. Các máy chủ Exchange Online vận hành Outlook bắt đầu ngừng hoạt động. Vấn đề nhanh chóng lan sang Mexico, rồi đến các quốc gia khác trên toàn thế giới khi hệ thống chuyển đổi dự phòng của Microsoft cố gắng chuyển lưu lượng email đi nơi khác. Trong vòng vài giờ, hơn 80% máy chủ Exchange đã không thể phản hồi.
Các nguồn tin cho biết Microsoft đã đánh dấu sự cố này là "sev0" trong hệ thống theo dõi sự cố nội bộ, mức độ cao nhất, biểu thị mức độ gián đoạn dịch vụ thảm khốc. Hàng trăm kỹ sư bắt đầu tìm hiểu điều gì đã xảy ra và cách khôi phục dịch vụ. Việc máy chủ gặp sự cố trong một số hoàn cảnh là điều bình thường, nhưng Microsoft có nhiều hệ thống định tuyến lưu lượng truy cập đến các máy chủ khỏe mạnh để duy trì hoạt động. Trong trường hợp này, hệ thống chuyển đổi dự phòng đã làm đúng nhiệm vụ, nhưng cũng vô tình lan truyền vấn đề.
Trong những giờ đầu tiên xảy ra sự cố, các kỹ sư đã phân tích các báo cáo sự cố, nhật ký vết và tệp kết xuất nhân hệ điều hành để tìm manh mối. Một số máy chủ đã chuyển sang chế độ bảo trì và không phản hồi do tải CPU quá cao bất thường. Các kỹ sư đã cố gắng đưa máy chủ hoạt động trở lại, nhưng chúng gần như ngay lập tức bị quá tải bởi lượng truy cập đang chờ.
Các máy chủ Exchange khởi động và chạy hệ điều hành qua mạng, cho phép nhân viên hỗ trợ và kỹ sư quản lý cập nhật hệ điều hành từ xa. Lưu lượng truy cập đột ngột từ việc khởi động lại máy chủ đã làm quá tải các hệ thống giám sát, gây ra vòng lặp khởi động liên tục thất bại.
Khi các kỹ sư tiếp tục tìm kiếm nguyên nhân gốc rễ, Microsoft thậm chí gặp khó khăn trong việc khôi phục trạng thái ban đầu của máy chủ bằng quy trình thông thường. Khi thế giới bên ngoài tự hỏi liệu đây có phải là một cuộc tấn công mạng hay lỗi mã nguồn AI, các kỹ sư Microsoft đã điều tra các hướng tấn công tiềm năng và liên hệ với các chuyên gia DDoS.
Các báo cáo sự cố nhanh chóng loại trừ khả năng bị tấn công. Sau khi việc khôi phục thất bại, các kỹ sư Microsoft bắt đầu xem xét kỹ hơn ngăn xếp mạng của máy chủ và phát hiện ra một lỗi bất thường. Lỗi này tồn tại trên các máy chủ cổng mạng Microsoft 365 từ tháng 7 mà không gây ảnh hưởng gì.
Charles Lamanna, người đứng đầu nhóm Copilot, Agents và Platform (CAP) của Microsoft, viết trên X rằng một khiếm khuyết tiềm ẩn đã khiến các máy chủ bị quá tải và không phản hồi trong các điều kiện tải nhất định. Các nhóm đằng sau Office, Outlook và Microsoft Teams đều báo cáo cho Lamanna vào tháng trước sau khi người đứng đầu Office và Teams rời công ty.
Báo cáo sơ bộ của Microsoft mô tả lỗi này ảnh hưởng đến một số máy chủ Windows được chọn do tranh chấp khóa bên trong một quy trình nội bộ của Windows. Lỗi này không ảnh hưởng đến các phiên bản Windows thông thường vì nó là kết quả của bản vá dành riêng cho máy chủ cổng mạng Microsoft 365.
Microsoft không tìm thấy lỗi này cho đến khi sự cố lớn xảy ra do hỗn hợp lưu lượng truy cập và phần cứng được sử dụng trong các phòng thí nghiệm thử nghiệm. Lamanna viết rằng vấn đề tranh chấp tồi tệ hơn trên các máy có nhiều lõi và phần cứng mới hơn, trong khi thử nghiệm của họ tập trung vào phần cứng yếu hơn.
Lỗi này lộ diện do hai sự cố khác làm tăng tải và giảm dung lượng máy chủ. Mười lăm giờ trước khi sự cố Outlook bắt đầu, Microsoft Teams đã chuyển đổi từ cổng mạng thay thế sang cổng mạng chính hỗ trợ Exchange Online. Đồng thời, khoảng 14% dung lượng máy chủ của cổng này không hoạt động do một vấn đề liên quan từ ngày hôm trước.
Sự kết hợp giữa lỗi phần mềm, việc chuyển đổi dự phòng của Microsoft Teams và dung lượng máy chủ giảm đã khiến cổng mạng kích hoạt vấn đề tiềm ẩn từ tháng 7. Microsoft mất gần 24 giờ để đưa các máy chủ Exchange ổn định trở lại.
Các kỹ sư Microsoft đã duy trì một cuộc gọi nhóm liên tục trong suốt thời gian đó, có lúc đạt mức tối đa 1.000 người tham gia. Quá trình phục hồi mất nhiều thời gian hơn bình thường vì khi máy chủ quay lại hoạt động, chúng ngay lập tức bị quá tải bởi lượng truy cập đang chờ.
Microsoft hiện đang hoàn thiện đánh giá chi tiết cuối cùng sẽ được công bố vào cuối tuần này. Công ty sẽ cần đầu tư nhiều hơn vào các quy trình kiểm thử để đảm bảo có thể phát hiện vấn đề sớm hơn trong tương lai.
Nguồn: The Verge · Bản dịch tiếng Việt của VGSNews, chỉ để tham khảo.