Alibaba ra mắt mô hình Qwen4-Max: Cải tiến kiến trúc mạnh mẽ nhưng vẫn xếp sau Kimi K3.1 Pro
Alibaba vừa chính thức công bố mô hình AI Qwen4-Max với 2.4 nghìn tỷ tham số và kiến trúc MoE cải tiến. Dù mang lại hiệu năng cao hơn và giá rẻ hơn bản tiền nhiệm, Qwen4-Max vẫn chịu đứng sau đối thủ Kimi K3.1 Pro trên bảng xếp hạng hiệu năng.
Alibaba vừa chính thức ra mắt mô hình Qwen4-Max được mong đợi từ lâu với phản ứng có phần ở mức trung bình - ghi điểm quan trọng về chi phí và hiệu quả, nhưng vẫn chưa thể vượt qua ngưỡng biên giới.
Qwen4-Max ra mắt với 2.4 nghìn tỷ tham số, đạt mức tăng 9 điểm so với Qwen3.8 Max trên Artificial Analysis Intelligence Index, nhưng vẫn kém 3 điểm so với Kimi K3.1 Pro với mức chi phí trên mỗi tác vụ thấp hơn khoảng 11 phần trăm.
Qwen4-Max sở hữu 2.4 nghìn tỷ tham số, ngang bằng với người tiền nhiệm Qwen3.8 Max. Mặc dù vậy, mô hình này mang đến kiến trúc Hỗn hợp Chuyên gia (MoE) được tối ưu hóa, cơ chế định tuyến chuyên gia được nâng cấp cùng những cải tiến toàn diện về dữ liệu huấn luyện và chất lượng căn chỉnh.
Qwen4-Max cũng mang đến một số thay đổi về kiến trúc:
GDN (Gated DeltaNet) - Bản tóm tắt chạy
Thông thường, một AI phải đọc lại từng từ từ đầu cuộc trò chuyện trước khi viết ra từ tiếp theo. Trên tài liệu dài một triệu từ, điều này làm mô hình chậm lại như rùa bò. Tuy nhiên, GDN hoạt động giống như một học sinh ghi chú liên tục trên một xấp giấy chú ý duy nhất. Khi đọc các trang mới, nó cập nhật các ghi chú đó, xóa thông tin lỗi thời ("gating") và ghi lại các sự kiện mới - để bộ nhớ của nó (bộ đệm KV) không phình lớn hơn. Tất nhiên, phương pháp này có thể dẫn đến việc mô hình bỏ sót các chi tiết cực kỳ cụ thể trong ngữ cảnh đã cho.
QSA (Qwen Sparse Attention) - Mục lục thông minh
Vì các ghi chú của GDN làm mờ các chi tiết nhỏ, mô hình vẫn cần một cách để tra cứu các trích dẫn chính xác hoặc chi tiết cực kỳ cụ thể từ phần đầu của văn bản. Thay vì lật qua toàn bộ 1 triệu token, QSA của Qwen4-Max sử dụng một bảng mục lục nhỏ, nhanh (bộ lập chỉ mục) để tìm ra vài đoạn văn chính xác ("khối vi mô") quan trọng và chỉ đọc những phần đó.
Về cơ bản, Qwen4-Max xếp chồng 3 lớp GDN cho cứ mỗi 1 lớp QSA. GDN xử lý cảm xúc chung và bộ nhớ liên tục hoặc bộ đệm KV với chi phí thấp, trong khi QSA can thiệp ở cứ mỗi lớp thứ tư để nhắm chuẩn xác các chi tiết, giúp việc đọc triệu token nhanh hơn gấp 7 lần.
GR (Gated Residual) - Xa lộ 4 làn đường
Khi thông tin di chuyển từ phần dưới của "bộ não" AI (đọc từ) đến phần trên (viết câu trả lời), nó di chuyển dọc theo một con đường hẹp duy nhất. Mọi thứ bị trộn lẫn vào nhau, có thể gây ra ùn tắc giao thông và khiến các mô hình lớn trở nên không ổn định trong quá trình huấn luyện.
Tuy nhiên, Gated Residual mở rộng con đường đơn lẻ đó thành xa lộ 4 làn với đèn giao thông thông minh ("cổng đọc và ghi"). Điều này cho phép các làn đường khác nhau chuyên môn hóa. Một làn hoạt động như tuyến đường cao tốc mang ngữ cảnh bức tranh tổng thể từ các lớp đầu thẳng lên trên, trong khi các làn khác xử lý ngữ pháp cục bộ và chi tiết ngắn hạn mà không va chạm vào nhau.
N-gram Embedding - Từ điển cụm từ tức thì
Khi một mô hình AI đọc văn bản từng phần một (hoặc từng token một), để hiểu một cụm từ phổ biến như "New York City", bộ não của AI phải tiêu tốn toán học và năng lượng để gắn các phần riêng biệt đó lại với nhau mỗi lần.
Qwen4-Max bổ sung một bảng gian lận khổng lồ với 328 tỷ tham số ngay từ cửa vào. Thay vì thực hiện các phép toán để kết hợp các khối từ phổ biến, nó chỉ cần tra cứu toàn bộ cụm từ trong một từ điển được lưu trữ trong bộ nhớ máy tính thông thường (RAM) thay vì bộ nhớ thẻ đồ họa đắt đỏ. Điều này cung cấp cho mô hình vốn từ vựng khổng lồ và khả năng nhận dạng mẫu tức thì với gần như không tốn thêm năng lượng não bộ hoặc tổn hại tốc độ.
Bây giờ chúng ta đã điểm qua các điểm nổi bật về kiến trúc của Qwen4-Max từ Alibaba, hãy cùng xem xét các chỉ số hiệu suất và giá cả của nó.
Hiệu suất và giá cả
Alibaba đã định giá mô hình Qwen4-Max ở mức 1.5 USD cho mỗi 1 triệu token đầu vào, 4.5 USD cho mỗi 1 triệu token đầu ra và 0.075 USD cho mỗi 1 triệu token bộ đệm ẩn ẩn - tất cả đều thấp hơn Qwen3.8-Max, với bộ đệm ẩn được giảm giá 70 phần trăm.
Hơn nữa, Qwen4-Max đã đạt 43 điểm trên Artificial Analysis Intelligence Index, tương ứng với mức tăng 9 điểm so với Qwen3.8-Max, nhưng vẫn kém 3 điểm so với Kimi K3.1 Pro của Moonshot, dù có chi phí trên mỗi tác vụ thấp hơn 11 phần trăm.
Trên bảng tổng hợp của Vals AI, Qwen4-Max của Alibaba đứng ở vị trí thứ 11, hiện là thứ hạng cao nhất cho bất kỳ mô hình nào đến từ Trung Quốc.
Nguồn: Wccftech · Bản dịch tiếng Việt của VGSNews, chỉ để tham khảo.