Mô hình AI tích hợp sẵn CPU RISC-V 32-bit trong trọng số, tự chạy được cả mã C và game DOOM

Kỹ sư AI Divyansh Agrawal vừa hé lộ Qwenputer. Hiểu một cách đơn giản nhất, Qwenputer là sự kết hợp thử nghiệm giữa mô hình ngôn ngữ lớn (LLM) Qwen 3.5 4B thông thường với một CPU RISC-V 32-bit được biên dịch và chèn trực tiếp vào các trọng số của nó. Khi sử dụng, Qwenputer có thể thực hiện các phép toán bộ xử lý – hoặc thậm chí chạy mã C và MicroPython trên CPU tích hợp sẵn của nó, hoàn toàn bỏ qua bất kỳ môi trường chạy (runtime) hoặc công cụ bên ngoài nào. Hơn nữa, nó còn có thể chạy được game DOOM, mặc dù tốc độ rất chậm. Bạn có thể thấy Qwenputer chạy DOOM trên CPU RISC-V của nó bằng cách mở rộng đoạn tweet bên dưới.

Việc hiện thực hóa Qwenputer đặt ra một số khái niệm và giải pháp khá thú vị. Ví dụ, nhà phát triển đã sử dụng trạng thái Gated DeltaNet (GND) của Qwen làm RAM, điều mà Agrawal cho là "một mẹo khá hay". Họ thừa nhận rằng việc sử dụng các 'trọng số nhanh' này làm RAM không phải là ý tưởng hoàn toàn mới, nhưng việc tùy biến Qwen 3.5 theo cách này dường như là lần đầu tiên.

Không giống như quá trình tạo LLM truyền thống, việc thêm một 'CPU' không bao gồm bước huấn luyện. Việc tích hợp CPU RISC-V này "gồm 11 lớp transformer đặt trước các lớp của Qwen và không có trọng số nào trong số đó được học: một trình biên dịch sẽ tính toán từng trọng số," giải thích cho biết. Agrawal khoe rằng CPU tích hợp của Qwenputer "vượt qua các bài kiểm tra chính thức của riscv-tests, các chương trình của nó khớp với qemu và nó đã chạy được 18 triệu lệnh liên tục mà không gặp một lỗi nào."

Nhà phát triển nhấn mạnh rằng Qwen tận dụng 'CPU' này để gửi lệnh và đọc lại mà không cần bất kỳ lệnh gọi công cụ hoặc môi trường chạy bên ngoài nào. Trên thực tế, nó hoạt động đúng như mong đợi. Việc sử dụng CPU bên trong Qwenputer mang lại các phép tính chính xác, khắc phục điểm yếu về toán học của nhiều LLM. Hơn nữa, người dùng có thể chạy mã trên CPU bên trong LLM, với khả năng tương thích C và MicroPython.

Chưa dừng lại ở việc nhét một CPU vào LLM, Agrawal quyết định trang bị thêm cho nó một hệ thống tập tin (filesystem). Họ mô tả việc mở rộng mô hình này là tương đối đơn giản vì RAM đã được thiết lập sẵn. Thật vậy, bộ nhớ lưu trữ của hệ thống tập tin cũng sử dụng trạng thái DeltaNet. Có 1.024 ô nhớ chứa tối đa 512 tệp. Hơn nữa, dung lượng lưu trữ này mang tính bền vững nếu bạn lưu trạng thái lại ở cuối cuộc trò chuyện với LLM.

Do sử dụng tài nguyên mở rộng, Qwenputer cơ bản đã làm tăng gấp đôi kích thước của nền tảng LLM Qwen 3.5 4B gốc lên tới gần 19GB. Do đó, Agrawal khuyến nghị nên dùng một máy trạm có từ 24GB VRAM trở lên để thử nghiệm Qwenputer ở phiên bản hiện tại. Các nỗ lực đang được thực hiện để đơn giản hóa việc viết mã trong Qwenputer cũng như giúp nó chạy nhanh hơn.

Dự án này mang tính thử nghiệm. Người ta có cảm giác rằng Agrawal xây dựng Qwenputer chủ yếu như một cuộc thử nghiệm để khám phá những gì có thể làm được, hơn là để giải quyết một vấn đề cụ thể nào đó. Mặc dù vậy, sự ra đời của LLM tùy chỉnh này làm nảy sinh một số khái niệm thú vị và khiến người ta phải suy ngẫm về các ứng dụng thực tế tiềm năng.

Ngoài bài viết trên blog được liên kết ở trên, bạn có thể tìm hiểu thêm về Qwenputer thông qua mã nguồn được cấp phép theo giấy phép MIT trên GitHub. Nếu bạn muốn bắt đầu ngay và vọc vạch dự án hấp dẫn này, giờ đây bạn có thể tải mô hình LLM này từ Hugging Face.