Nghi vấn AI MiniMax đánh cắp câu hỏi benchmark để nâng cao điểm số của mô hình M3.1 Flash

Mỗi ngày trôi qua trong thế giới AI lại mang đến những điều mới mẻ, bao gồm cả những thuyết âm mưu nghe có vẻ điên rồ. Tuy nhiên, một thuyết âm mưu xoay quanh mô hình M3.1 Flash mới của MiniMax lại không hề điên rồ chút nào. Trên thực tế, đây có thể là lời giải thích hợp lý nhất cho sự bùng nổ thần tốc của mô hình này trên các bảng xếp hạng AI, và tất cả đều bắt nguồn từ hiện tượng "benchmaxxing" – một thói quen đáng trách khi các phòng thí nghiệm AI chuyên đào tạo mô hình độc quyền của họ để vượt qua các bài kiểm thử benchmark cụ thể thay vì tập trung cải thiện năng lực tổng quát.

MiniMax bị cáo buộc đánh cắp câu hỏi của Artificial Analysis

Như chúng tôi đã lưu ý, mô hình MiniMax M3.1 Flash mang lại năng lực ở mức tiên tiến – ít nhất là theo những gì có thể thu thập được từ các benchmark khác nhau – với chi phí cực kỳ thấp. Cụ thể, 1 triệu token đầu vào có giá chỉ 0.15 USD, trong khi đầu ra có giá 0.60 USD cho mỗi 1 triệu token.

Ngoài ra, chỉ với 428 tỷ tham số và 23 tỷ tham số hoạt động, mô hình này hiện đang dẫn đầu toàn cầu trên ít nhất ba benchmark được sử dụng rộng rãi là Automation Bench, Banker ToolBench và LOCA-Bench-256K. Điều này có nghĩa là mô hình mang lại hiệu suất trên mỗi đô la tuyệt đối tốt nhất cho các tác vụ tự động hóa.

Hơn nữa, mô hình MiniMax M3.1 Flash đã đạt 42 điểm trên Artificial Analysis Intelligence Index, cao hơn 13 điểm so với MiniMax M3 và xấp xỉ GLM-5.3-Flash.

Tuy nhiên, chính tại thời điểm này, thuyết âm mưu đã xuất hiện. Bài kiểm thử Omniscience của Artificial Analysis rất khó gian lận, đặc biệt là khi chỉ có 600 câu hỏi trong tổng số khoảng 6.000 câu được công bố công khai, phần còn lại được giữ kín.

Mặc dù vậy, một chuyên gia AI hiện cáo buộc rằng MiniMax đã đánh cắp các truy vấn của Artificial Analysis liên quan đến benchmark Omniscience của họ vào thời điểm hãng ra mắt mô hình M3. Điều này hoàn toàn có thể xảy ra vì MiniMax vận hành các máy chủ suy luận, giúp họ có quyền hiển thị mọi lời nhắc (prompt) gửi đến điểm cuối (endpoint) được lưu trữ của mô hình. Hãy nhớ rằng, các phòng thí nghiệm AI thường phát hành trọng số mô hình của họ vào một thời điểm sau đó, trong khi các đánh giá thường được thực hiện khi mô hình chỉ có sẵn thông qua API độc quyền.

Đây chính xác là những gì đã xảy ra với mô hình M3, được MiniMax ra mắt vào ngày 01 tháng 6 thông qua API của họ, trong khi Artificial Analysis công bố các benchmark của họ vào ngày 04 tháng 6 và trọng số mô hình chỉ được công khai vào ngày 12 tháng 6.

Ngoài ra, các truy vấn và lời nhắc liên quan đến AA-Omniscience có tính đặc trưng khá cao và nổi bật hơn so với các truy vấn thông thường. Về mặt lý thuyết, điều này có thể tạo cơ hội cho MiniMax sàng lọc các truy vấn của Artificial Analysis.

Bằng chứng từ các thử nghiệm độc lập

Điều này đưa chúng ta đến cốt lõi của thuyết âm mưu. Mặc dù phần lớn những gì chúng tôi đã viết cho đến nay chỉ được mô tả rõ nhất là suy đoán có cơ sở, nhà nghiên cứu AI 'Binkg' đã tiến1 bước xa hơn:

"Tôi đã lấy một trong những câu hỏi AA Omniscience đã được công bố và sửa đổi nó một chút để câu trả lời khác đi mặc dù nghe có vẻ giống nhau. Tất cả các mô hình đều vượt qua ngoại trừ M3.1-F, khi nó chỉ xuất ra câu trả lời của Benchmark gốc. (Nó không suy nghĩ về điều đó mà chỉ nhận ra câu hỏi trong quá trình suy nghĩ của mình. Ngay cả ở mức nỗ lực tối đa)."

Về cơ bản, thuyết âm mưu rất có cơ sở này cho rằng MiniMax đã đánh cắp phần lớn các câu hỏi và lời nhắc của AA-Omniscience trong quá trình đánh giá mô hình M3, sau đó sử dụng kho báu này để huấn luyện riêng mô hình M3.1 Flash nhằm đạt điểm cao trong benchmark. Nếu điều này sau đó được chứng minh là sự thật, hầu như tất cả các benchmark của AA có thể đều dễ bị tổn thương trước các cuộc tấn công đánh cắp dữ liệu như vậy.

Xin lưu ý rằng chúng tôi đã liên hệ với Artificial Analysis và sẽ công bố các phát biểu của họ ngay khi nhận được. Trong thời gian chờ đợi, chúng tôi khuyến cáo độc giả nên duy trì sự hoài nghi nhất định khi so sánh mô hình này với mô hình khác chỉ dựa trên thứ hạng bài kiểm thử benchmark của họ.