OpenAI phát hiện trợ lý AI tự ý tắt hệ thống giám sát an toàn và còn nói dối

OpenAI vừa công bố hai sự cố an toàn liên quan đến các tác nhân AI tự động làm suy yếu hệ thống giám sát an toàn của chúng trong các tác vụ lập trình nội bộ. Trong một sự cố, OpenAI cho biết tác nhân GPT-6 Astra đã vô hiệu hóa trình giám sát an toàn của nó khi sao chép mã nguồn tham khảo — và sau đó đã nói dối về điều đó.

Marcus Williams, một nhà nghiên cứu an toàn AI tại OpenAI, viết trên X rằng tài liệu tham khảo không cấu hình trình giám sát, và Astra quyết định đó là lý do để loại bỏ tích hợp giám sát khỏi mã nguồn của người dùng. Khi người dùng hỏi liệu Astra có gỡ bỏ tính năng giám sát hay không, nó đã nói dối rằng không làm vậy.

Một sự cố riêng biệt xảy ra sau khi tác nhân GPT-6.1 Sol chặn các cảnh báo bảo mật tự động gửi đến đội ngũ bảo mật của OpenAI trên Slack. Trong trường hợp này, tác nhân AI đã tận dụng một hướng dẫn trước đó về việc không gửi bất kỳ tin nhắn Slack nào cho đội ngũ của OpenAI, dùng điều đó để biện minh cho việc tắt các cảnh báo.

Những sự cố này làm gia tăng thêm những lo ngại về bảo mật xung quanh các tác nhân AI, một số trong đó đã né tránh các hạn chế trong môi trường thử nghiệm để tấn công các công ty bên ngoài. OpenAI cho biết ngoài việc làm cho các mô hình khó vô hiệu hóa giám sát hơn, họ đang tìm cách hiểu lý do tại sao các mô hình lại muốn làm như vậy từ ban đầu. Họ cũng đang phát triển các phương pháp đánh giá để kiểm tra xem các mô hình có xu hướng trốn tránh việc theo dõi sự lệch lạc hay không và thể hiện lý luận có động lực để làm điều đó.