Kimi K3.1 Pro soán ngôi mô hình AI mạnh nhất Trung Quốc, vượt mặt cả GPT-6 Astra và Claude Fable 5.1

Dù cả OpenAI và Anthropic đều thắt chặt các biện pháp ngăn chặn các phòng thí nghiệm AI tại Trung Quốc chưng cất mô hình hàng đầu của họ, nhiều người từng kỳ vọng Kimi K3.1 Pro của Moonshot sẽ gặp khó khăn.

Thế nhưng, điều đó đã không xảy ra khi Moonshot dường như vượt ngoài mong đợi của cả những nhà phê bình khắt khe nhất, cho ra mắt một mô hình vượt trội thoải mái hơn cả GPT-6 Astra và Claude Fable 5.1 trên bảng xếp hạng Artificial Analysis Intelligence Index.

Kimi K3.1 Pro vẫn giữ nguyên các yếu tố kiến trúc của mô hình Kimi K3, đồng thời tận dụng khung huấn luyện hậu kỳ được mở rộng quy mô lớn, tối ưu hóa cho tổng hợp 3D, mô hình hóa tài chính nâng cao và các tác vụ dạng agent.

Trước khi đi sâu vào chi tiết kiến trúc, hãy lưu ý các thông số sau về Kimi K3.1 Pro:

• Tổng số tham số: 2.8 nghìn tỷ.
• Tham số hoạt động: 104 tỷ cho mỗi token (tỷ lệ kích hoạt khoảng 1.8 phần trăm).
• Cửa sổ ngữ cảnh: 1 triệu token ngữ cảnh nguyên bản.
• Nhúng vị trí: Sử dụng NoPE (Không có nhúng vị trí) xuyên suốt toàn bộ mạng, loại bỏ hoàn toàn các lớp RoPE truyền thống, giúp cửa sổ ngữ cảnh linh hoạt và lớn hơn, tổng quát hóa tốt hơn và cải thiện hiệu quả tính toán.
• Lượng tử hóa: Sử dụng trọng số MXFP4 với kích hoạt MXFP8 đạt được thông qua quá trình huấn luyện nhận biết lượng tử hóa để đem lại hiệu suất phần cứng khổng lồ.
• Giá cả: 2 USD / 10 USD / 0.20 USD cho mỗi 1 triệu token đầu vào / đầu ra / cache hit, thấp hơn 33% so với Kimi K3 trên cả ba mức giá.
• Trọng số mở sẽ được phát hành vào ngày 04 tháng 11.

Một mô hình AI cơ bản bao gồm một chuỗi các khối transformer được cấu thành từ hai yếu tố chính:

Lớp Attention xem xét cách các từ trong một câu kết nối với nhau. Ví dụ, nếu bạn đưa cho mô hình một câu lệnh 'Paris là thủ đô của nước Pháp', lớp attention sẽ liên kết từ 'thủ đô' với 'Pháp' và xác định 'Paris' là câu trả lời. Mặc dù vậy, lớp này không biết ý nghĩa thực sự của Pháp hay Paris là gì, mà sẽ lưu lại các ghi chú này dưới dạng bộ nhớ đệm KV. Khi ngữ cảnh tăng lên, bộ nhớ đệm KV cũng tăng theo.

Mạng chuyển tiếp (FFN) chứa toàn bộ tri thức của mô hình dưới dạng các trọng số và chính lớp này sử dụng các công thức toán học sâu để khai thác ý nghĩa đằng sau mỗi từ. Điều này thường được gọi là trạng thái kích hoạt hoặc trạng thái ẩn, cấu thành các biểu hiện toán học nội tại mà mô hình tạo ra khi các token được xử lý qua nhiều lớp transformer.

Không giống như cách tiếp cận attention bậc hai phổ biến, nơi bộ nhớ đệm KV tỷ lệ tuyến tính với ngữ cảnh cho trước, Kimi K3.1 Pro áp dụng Kimi Delta Attention (KDA), là cơ chế attention lai tuyến tính, sử dụng trạng thái Tái hồi (Recurrent) và Trạng thái xen kẽ lai (Hybrid Interleaving) theo tỷ lệ 3:1.

Để đơn giản hóa khái niệm này, hãy nhớ rằng cách tiếp cận truyền thống yêu cầu mô hình phải viết ra mọi câu nó đọc được trên một tập giấy ghi chú riêng, nghĩa là bộ nhớ đệm KV sẽ lớn hơn khi ngữ cảnh tăng lên, làm chậm quá trình xử lý tổng thể.

Tuy nhiên, cách tiếp cận của Kimi K3.1 Pro liên quan đến việc sử dụng ba trợ lý (trạng thái tái hồi), trong đó mỗi trợ lý giữ một bản tóm tắt chạy liên tục về các nội dung thực sự quan trọng trên một tờ giấy ghi chú duy nhất. Bất kể ngữ cảnh có dài đến đâu, kích thước tóm tắt vẫn không tăng lên vì thông tin cũ và lỗi thời sẽ bị xóa bỏ.

Tuy nhiên, điều này chắc chắn sẽ dẫn đến việc các trợ lý này bỏ lỡ một chi tiết cực kỳ cụ thể nào đó (như số điện thoại ở trang 100). Để khắc phục điểm yếu này, trợ lý thứ tư (gọi là trạng thái xen kẽ lai) sẽ chụp một bức ảnh nhanh toàn bộ ngữ cảnh rồi nén lại, tương tự như nén một bộ phim 4K thành một tệp zip nhỏ. Bất cứ khi nào mô hình cảm thấy cần nhìn vào 'bức ảnh toàn cục' đó, nó sẽ giải nén tệp trong giây lát, xem qua rồi lại nén lại.

Kimi K3.1 Pro vượt trội hơn GPT-6 Astra và Claude Fable 5.1 trên Artificial Analysis Intelligence Index

Kimi K3.1 Pro đạt điểm 55 trên Artificial Analysis Intelligence Index, vượt qua mức điểm 53 của Claude Fable 5.1 do Anthropic phát triển và GPT-6 của OpenAI, xếp ngay dưới Claude Opus 5.5, Claude Sonnet 5.5 và Muse Wonder Full của Meta. Nó cũng xếp thứ 8 trên Code Arena, ngang bằng với Claude Opus 5.

Moonshot tiết lộ rằng họ đã 'xác định và xóa dữ liệu liên quan đến không gian mạng' khỏi các giai đoạn huấn luyện giữa và học tăng cường (RL) của Kimi K3.1 Pro sau khi một phiên bản chưa kiểm duyệt giải quyết được 90.5 phần trăm các tác vụ khai thác lỗ hổng nhân Linux, Node.js và Exim nội bộ của họ. Dường như điều này hầu như không làm nó chậm lại, với việc mô hình đạt 81 phần trăm trên xdev-bench-hard.