Google thừa nhận Gemini 4 Argon thua kém Claude và GPT trong lập trình Android

Google đã cập nhật danh sách Android Bench nhằm đánh giá mức độ hiệu quả của các mô hình AI trong việc hỗ trợ lập trình Android, trong đó Gemini 4 Argon xếp sau các mô hình Claude và GPT mới nhất.

Android Bench được giới thiệu vào đầu năm nay như một phương thức giúp các nhà phát triển Android nhanh chóng nhận biết mô hình AI nào phù hợp nhất cho việc hỗ trợ lập trình Android dựa trên bài kiểm tra của Google. Bài kiểm tra này xem xét các khía cạnh sử dụng AI đặc thù cho lập trình Android và các phương pháp hay nhất trong phát triển Android. Khi tiếp tục thử nghiệm và xếp hạng các mô hình mới, Google cũng bổ sung chi phí trung bình vào bảng đánh giá để các nhà phát triển đưa ra quyết định tốt nhất cho nhu cầu của họ.

Trong bản cập nhật ngày 26 tháng 10, Google đã bổ sung mức độ suy luận được sử dụng cho từng mô hình, đồng thời thêm kết quả cho GPT-6 Sol, GPT-6.1 Sol, Claude Sonnet 5, Claude Sonnet 5.5 của OpenAI và Gemini 4 Argon của chính Google.

Hiện dẫn đầu bảng xếp hạng là Claude Sonnet 5.5, với tỷ lệ vượt qua bài kiểm tra là 40% và tỷ lệ hoàn thành là 80,9%. Claude Opus 5.5, được đưa vào danh sách hồi đầu tháng 10, đứng ở vị trí thứ hai.

GPT-6.1 Sol của OpenAI có lẽ là cái tên bổ sung thú vị nhất ở đây, đạt tỷ lệ vượt qua bài kiểm tra 29.3% và tỷ lệ hoàn thành 82.8%, nhưng chi phí chỉ ở mức 99.50 USD so với chi phí 1,574.90 USD của Claude cho vị trí dẫn đầu.

Nhưng chính Gemini 4 Argon của Google lại có màn ra mắt khá mờ nhạt, đứng tụt lại phía sau các mô hình tiên tiến khác ở vị trí thứ năm. Nó xếp sau Claude Fable 5.1 với tỷ lệ vượt qua bài kiểm tra chỉ 21.3%, tỷ lệ hoàn thành 81.8% và chi phí trung bình là 267.70 USD.

Trong một báo cáo ngay sau khi Google công bố Gemini 4 Argon, một số nguồn tin nội bộ cho rằng mô hình này "gặp khó khăn trong việc xử lý một số tác vụ lập trình nhất định," mặc dù Google vẫn bảo vệ năng lực của nó.