Thinking Machines ra mắt Inkling 2 Mini: Mô hình AI 26 tỷ tham số chạy cục bộ trên MacBook 32GB RAM
Thinking Machines Lab vừa công bố Inkling 2 Mini, một mô hình AI mã nguồn mở có 26 tỷ tham số nhưng sở hữu khả năng lập luận và lập trình ấn tượng. Mô hình này có thể chạy hoàn toàn ngoại tuyến trên các dòng máy tính cá nhân như Apple MacBook trang bị 32GB bộ nhớ thống nhất.

Thinking Machines Lab đã công bố Inkling 2 Mini, một mô hình AI mã nguồn mở mới đầy ấn tượng với 26 tỷ tham số, mang lại hiệu suất cao trong các tác vụ lập trình, lập luận và điều hành tự động. Quan trọng hơn, mô hình này có thể chạy hoàn toàn ngoại tuyến trên phần cứng tiêu dùng, bao gồm các dòng Apple MacBook được trang bị 32GB bộ nhớ thống nhất.
Ra mắt vào ngày 20 tháng 11, Inkling 2 Mini xuất hiện như một lựa chọn thay thế nhỏ gọn hơn đáng kể so với người anh em khổng lồ Inkling 2 Small có tới 594 tỷ tham số của hãng. Tuy nhiên, thay vì chỉ đơn giản là thu nhỏ một kiến trúc sẵn có, Thinking Machines đã áp dụng một cách tiếp cận thú vị cho phép mô hình mới thực hiện thêm các bước lập luận mà không cần tạo ra nhiều token hơn.
Kết quả mang lại khá hứa hẹn, khi mô hình đạt điểm số Chỉ số Thông minh Phân tích Nhân tạo là 20.1, đồng thời cạnh tranh sòng phẳng với các mô hình AI có kích thước lớn hơn đáng kể.
Inkling 2 Mini sử dụng kiến trúc Transformer vòng lặp để đem lại hiệu suất lập luận ấn tượng chỉ với 26B tham số
Theo thông báo kỹ thuật chính thức của Thinking Machines, Inkling 2 Mini sử dụng kiến trúc transformer Hỗn hợp chuyên gia gồm 24 lớp, với tổng số 26,4 tỷ tham số và chỉ có 3,4 tỷ tham số hoạt động.
Điều làm cho kiến trúc này trở nên đặc biệt thú vị là cách nó xử lý thông tin. Thay vì chuyển mọi token qua từng lớp transformer chỉ một lần, mô hình thực hiện 12 lớp ở giữa ba lần, trong khi sáu lớp đầu và sáu lớp cuối hoạt động bình thường.
Do đó, mô hình thực hiện 48 lần áp dụng lớp cho mỗi token mặc dù chỉ lưu trữ trọng số cho 24 lớp. Điều này làm tăng số lượng tham số hoạt động hiệu quả lên 5,4 tỷ cho mỗi token, cho phép tính toán bổ sung mà không làm tăng tương propor tỷ lệ yêu cầu bộ nhớ.
Nói một cách đơn giản hơn, Inkling 2 Mini có thể dành nhiều thời gian hơn để suy luận bên trong trước khi tạo ra token tiếp theo.
Hãng tuyên bố phương pháp này mang lại những cải tiến đặc biệt ấn tượng trong lĩnh vực lập trình tự động. Inkling 2 Mini đạt 48,2% trên DeepSWE v1.1, so với mức 42,2% của Qwen3.8-27B, trong khi điểm số SWE-bench Pro v2 Hard của nó đạt 77.9%, vượt qua con số 73.8% của đối thủ.
Nó cũng đạt 46,5% trên Vals Index v2.2 và 79.2% trên SWE-bench Verified. Đây là những kết quả đánh giá do công ty tự công bố và sự khác biệt về cấu hình kiểm thử đồng nghĩa với việc chúng không nên được diễn giải là lợi thế hiệu suất phổ quát.
Đáng chú ý, Thinking Machines đã huấn luyện Inkling 2 Mini trên nền tảng GB300 Grace Blackwell Ultra của NVIDIA, tận dụng các tính năng NVFP4 tăng tốc bằng phần cứng để cải thiện hiệu quả huấn luyện. Phần lớn trọng số của mô hình được huấn luyện bằng độ chính xác 4-bit NVFP4, với bốn lớp cuối cùng sử dụng độ chính xác 8-bit MXFP8. Vì các trọng số này được triển khai ở cùng độ chính xác số học được sử dụng trong quá trình huấn luyện, hãng cho biết mô hình tránh được tổn thất chuyển đổi bổ sung liên quan đến việc lượng tử hóa sau huấn luyện.
Có lẽ khía cạnh thú vị nhất của Inkling 2 Mini là khả năng tiếp cận của nó. Mặc dù sở hữu nhiều năng lực mạnh mẽ, mô hình có dung lượng bộ nhớ chiếm dụng khoảng 20GB, cho phép nó chạy trên các máy Mac sử dụng chip Apple silicon có tối thiểu 32GB bộ nhớ thống nhất thông qua Ollama.
Máy tính AI để bàn DGX Spark của NVIDIA cũng được hỗ trợ chính thức, trong khi các cấu hình GPU khác vẫn khả thi với khuyến nghị từ 32GB VRAM trở lên. Mô hình hỗ trợ đầu vào dạng văn bản và hình ảnh, cùng với cửa sổ ngữ cảnh mở rộng lên đến một triệu token.
Để minh họa cho các tính năng của mình, Thinking Machines đã trình diễn Inkling 2 Mini chạy hoàn toàn ngoại tuyến trên một chiếc MacBook Pro M5 Pro trang bị 48GB bộ nhớ. Trong một chuyến bay, mô hình này được cho là đã tạo ra một trò chơi mô phỏng chuyến bay có thể chơi được chỉ trong vài phút.
Tuy nhiên, kiến trúc này đặt ra một câu hỏi quan trọng liên quan đến sự an toàn và tính minh bạch của AI.
Vì các transformer vòng lặp có thể thực hiện tính toán bổ sung bên trong mà không cần viết rõ ràng mọi bước suy luận, các nhà nghiên cứu đã bày tỏ lo ngại về việc liệu hành vi của chúng có trở nên khó giám sát hơn hay không.
Thinking Machines đã nghiên cứu vấn đề này bằng cách sử dụng một mô hình nghiên cứu vòng lặp biến đổi riêng biệt, qua đó phát hiện ra rằng các lần chuyển qua lại bổ sung làm tăng khả năng giải quyết vấn đề của mô hình mà không cần tạo ra chuỗi suy nghĩ bằng văn bản. Tầm nhìn tác vụ không cần chuỗi suy nghĩ được đo lường của nó đã tăng từ 16 giây với một lần chuyển lên 37 giây với ba lần.
Mặc dù vậy, các thí nghiệm của hãng phát hiện ra rằng lý luận bằng văn bản của mô hình vẫn có thể hiểu được, không bị suy giảm ý nghĩa đáng kể ở quy mô này. Các nhà nghiên cứu cũng thừa nhận những hạn chế, bao gồm hiệu suất kém hơn đối với các cuộc trò chuyện nhiều lượt phức tạp và các chỉ dẫn liên quan đến nhiều ràng buộc.
Inkling 2 Mini hiện đã có sẵn theo giấy phép Apache 2.0, với trọng số có thể tải xuống trên Hugging Face, triển khai cục bộ thông qua Ollama và suy luận cũng như tinh chỉnh thông qua nền tảng Tinker của Thinking Machines.
Đối với các nhà phát triển quan tâm đến việc chạy các tác nhân AI mạnh mẽ cục bộ thay vì phụ thuộc hoàn toàn vào cơ sở hạ tầng đám mây, Inkling 2 Mini đại diện cho một bước phát triển thú vị khác trong việc giúp các mô hình AI tiên tiến trở nên dễ tiếp cận hơn.
Nguồn: Wccftech · Bản dịch tiếng Việt của VGSNews, chỉ để tham khảo.