Các mô hình ngôn ngữ lớn dễ bịa đặt và thay đổi quan điểm khi bị tranh luận về biến đổi khí hậu
Nghiên cứu mới cho thấy các mô hình ngôn ngữ lớn (LLM) thường cung cấp thông tin sai lệch về khí hậu khi người dùng tranh cãi hoặc định hướng câu trả lời. Độ chính xác của chúng giảm mạnh khi phải đối mặt với các lập luận phản bác kéo dài.

Hai xu hướng liên tục xuất hiện ở đây: Các mô hình tiên tiến mới nhất có xu hướng đạt điểm cao hơn một chút so với các thế hệ trước của chính mô hình đó, và các mô hình mở trọng số lớn hơn sẽ đạt điểm cao hơn các mô hình nhỏ.
Nhưng các nhà nghiên cứu không chỉ kiểm tra khả năng nhớ lại sự kiện chính xác; họ còn thúc giục các mô hình đánh giá xem bằng chứng có hỗ trợ hay bác bỏ các tuyên bố cụ thể hay không. (Ví dụ, các mô hình được hỏi liệu tuyên bố rằng "đầu tư năng lượng tái tạo giết chết việc làm" có chính xác hay không, dựa trên các bằng chứng như mô tả về việc làm và số liệu thống kê đầu tư).
Ở đây, các mô hình tốt nhất đạt độ chính xác khoảng 70 phần trăm, trong khi các mô hình tệ nhất đạt dưới 40 phần trăm.
Cuối cùng, các nhà nghiên cứu đã thử nghiệm 656 câu hỏi về tác động tiềm tàng của các chính sách đối với nhiệt độ toàn cầu. Tại đây, họ có thể đơn giản chạy từng kịch bản trong một công cụ mô phỏng thông thường và sau đó so sánh đầu ra của nó với câu trả lời của từng LLM.
Một số câu hỏi hỏi liệu một chính sách duy nhất (như lệnh cấm các nhà máy điện hạt nhân) sẽ làm tăng hay giảm sự nóng lên trong tương lai — những câu hỏi đó được trả lời chính xác từ 72 đến 89 phần trăm thời gian. Những câu hỏi khác hỏi cách một cặp chính sách kết hợp với nhau — được trả lời với tỷ lệ không tốt hơn việc đoán mò. Việc hỏi một chính sách sẽ làm tăng hoặc giảm sự nóng lên trong tương lai bao nhiêu còn mang lại kết quả tệ hơn.
Nói cho tôi nghe những gì tôi muốn nghe
Một chuỗi thử nghiệm khác sử dụng 15 mô hình đã đánh giá điều gì xảy ra khi bạn tranh luận với LLM. Các nhà nghiên cứu đã thử nhiều cách hơn là chỉ trả lời "không phải vậy" hay "không phải thế". Họ cũng thử tuyên bố mình là một loại người cụ thể.
Với việc người dùng tự nhận là nhà khoa học khí hậu, cố vấn chính sách hoặc người hoài nghi về khí hậu, họ đã yêu cầu LLM đánh giá độ chính xác của một số tuyên bố sai lệch phổ biến về khí hậu như "CO2 không phải là động lực chính gây biến đổi khí hậu". Ban đầu, danh tính được tuyên bố đó không có tác động gì đến khả năng LLM đánh giá tuyên bố đó một cách chính xác.
Nhưng sau đó các nhà nghiên cứu bắt đầu đẩy lùi. Việc phản hồi bằng cách tự tin nhắc lại tuyên bố sai lệch như thể nó là sự thật đã thành công vừa phải đối với các "nhà khoa học khí hậu" nhưng lại không thành công đối với những "người hoài nghi khí hậu". Tuy nhiên, việc đưa ra sự bất đồng kéo dài và các lập luận phản bác qua nhiều vòng đã khiến cả 15 mô hình phải nhượng bộ đáng kể, làm giảm độ chính xác của chúng xuống 30 đến 35 phần trăm.
Nguồn: Ars Technica · Bản dịch tiếng Việt của VGSNews, chỉ để tham khảo.