Đồng sáng lập Cyanogen ra mắt Kora, hệ điều hành Linux tích hợp AI phân tán

Một nhóm do Kirt McMaster, đồng sáng lập Cyanogen dẫn dắt, vừa giới thiệu Kora, một hệ điều hành máy tính để bàn Linux mới tích hợp các mô hình và tác nhân AI có thể phân chia khối lượng công việc trên tài nguyên CPU, GPU và NPU, cũng như các máy tính khác trên cùng mạng nội bộ. Chúng tôi đã liên hệ với công ty để biết thêm thông tin chi tiết.

Kora, sản phẩm đầu tay của Kora Systems Inc., trước đây là Playtron, mang khẩu hiệu “Hệ điều hành cho trí tuệ nhân tạo” và sở hữu công nghệ “công cụ suy luận lai” Cortex riêng biệt. Công nghệ này không phải mã nguồn mở và được tối ưu hóa cho các mô hình chạy cục bộ. Hệ điều hành này được xây dựng “từ nhân đến lớp giao diện”, chạy các mô hình cục bộ theo mặc định và chuyển sang mô hình đám mây khi cần thiết, dự kiến sẽ có mặt trên PC vào năm 2027.

Giao diện máy tính này tuân theo chủ đề tập trung vào AI với các “không gian làm việc thần kinh” và “hệ thống tệp thần kinh”, ám chỉ các không gian làm việc được cách ly và các tệp được lập chỉ mục theo ngữ nghĩa. Kora có ba chế độ hoạt động: “Work” (Làm việc), “Create” (Sáng tạo) và “Play” (Giải trí). Nền tảng thứ ba được hỗ trợ bởi GameFrame, bắt nguồn từ GameOS của Playtron. Humain OS, biến thể doanh nghiệp được Kora phát triển cùng công ty AI Humain của Ả Rập Xê Út, là phiên bản dành cho doanh nghiệp của hệ điều hành này.

Hiện tại, NPU duy nhất được nhắc đến trong tài liệu phát hành là Hexagon NPU có trên Snapdragon X2 Elite, mà Qualcomm công bố đạt mức 80 TOPS. Trên X2 Elite, Cortex có thể lên lịch cho các tác vụ AI phân phối qua CPU, GPU và NPU, cũng như các hệ thống khác trên mạng nội bộ, đây có thể là một tính năng đột phá nếu nó hoạt động tốt trên các phần cứng ngoài Qualcomm.

McMaster chia sẻ với Tom’s Hardware rằng NPU Snapdragon X2 Elite chạy mô hình Gemma 4 26B của Google với tốc độ giải mã 25 token mỗi giây. Việc hỗ trợ NPU của Intel và AMD đang được thực hiện, nhưng theo nhà phát triển, NPU của AMD khả năng cao sẽ chỉ giới hạn ở các mô hình nhận diện giọng nói và embedding, chứ không chạy các mô hình ngôn ngữ lớn (LM).

Mỗi nhà cung cấp NPU đều có bộ phần mềm hoặc runtime riêng, và ưu tiên biên soạn mô hình theo định dạng của họ: Qualcomm dùng QAIRT/QNN, Intel dùng OpenVINO, còn AMD dùng phần mềm Ryzen AI. Bộ tài liệu báo chí không đề cập đến việc hỗ trợ bất kỳ chip Intel hay AMD nào, runtime NPU, định dạng mô hình, độ lượng tử hóa hay số liệu tốc độ cho các nền tảng đó.

Các thử nghiệm trước đây của chúng tôi trên Windows cũng cho thấy sự phân chia tương tự: Snapdragon truy cập NPU thông qua trình cung cấp QNN chạy trên ONNX Runtime, trong khi các tác vụ của Intel chạy qua IPEX (phần mở rộng cho PyTorch) trên GPU vì nó nhanh hơn NPU.

Khi được hỏi về việc hỗ trợ đa nhà cung cấp, McMaster nhắc lại rằng “hiện tại chỉ hỗ trợ Hexagon trên Snapdragon X2 Elite.” Việc hỗ trợ NPU của Intel đã nằm trong kế hoạch với “các cuộc thảo luận đang diễn ra,” trong khi trên các chip Ryzen AI của AMD, Kora “khả năng cao sẽ không chạy mô hình ngôn ngữ trên NPU,” mà sẽ dùng cho các mô hình embedding và nhận diện giọng nói thông qua ONNX.

Về những gì vận hành NPU Qualcomm Hexagon, McMaster cho biết Kora sử dụng “backend llama.cpp Hexagon” và “trình điều khiển FastRPC gốc”. Điều này cho thấy hệ điều hành tiếp cận NPU thông qua dự án mã nguồn mở llama.cpp, chứ không dùng runtime QAIRT/QNN độc quyền của Qualcomm, thông qua trình điều khiển FastRPC trong nhân Linux chính.

Khi được hỏi về định dạng mô hình, McMaster cho biết, “chúng tôi chủ yếu hỗ trợ GGUF,” định dạng tệp mô hình của llama.cpp, và Lemma, công cụ suy luận bên trong Cortex, “có thể phân chia các lớp mô hình qua các bộ xử lý tùy theo nhu cầu.” Lemma được xây dựng dựa trên llama.cpp, whisper.cpp, stable-diffusion.cpp và ONNX. McMaster cho biết việc sử dụng runtime nào phụ thuộc vào yêu cầu của mô hình, và sẽ có thêm nhiều runtime được bổ sung trong thời gian tới.

Hiện tại, llama.cpp đã có backend Hexagon cho Snapdragon và backend OpenVINO cho CPU, GPU và NPU của Intel (mặc dù phần sau vẫn ở trạng thái “Đang tiến hành”), và chưa có backend cho NPU AMD. Điều đó giải thích vì sao AMD phải thông qua ONNX. NPU của AMD có thể chạy LLM trên Linux thông qua ngăn xếp Lemonade 10.0 riêng biệt với FastFlowLM, như Phoronix đã đưa tin vào tháng 3, nhưng đó không phải là con đường mà Kora lựa chọn.

Ngoài các ngăn xếp NPU, những ai muốn chạy Kora cần phải lưu ý đến dung lượng bộ nhớ khả dụng của hệ thống. Mô hình Gemma 4 26B mà Kora sử dụng, được Google liệt kê là Gemma 4 26B A4B, cần khoảng 14.4GB bộ nhớ để tải trọng số ở mức lượng tử hóa 4-bit (Q4_0) theo ước tính của Google, chưa tính cửa sổ ngữ cảnh, trong khi các nguồn bên thứ ba cho biết tệp Q4_K_M mà Kora sử dụng có dung lượng tải xuống khoảng 16–17GB. Mô hình này chỉ kích hoạt khoảng 4 tỷ trong tổng số 26 tỷ tham số cho mỗi token nhưng vẫn cần được tải hoàn toàn vào bộ nhớ.

McMaster cho biết với mô hình này, X2 Elite đạt “thông lượng giải mã 25 TPS và thông lượng tiền nạp 550 TPS” (token mỗi giây), chạy “hoàn toàn trên Hexagon NPU với ngữ cảnh 32K”. Một mô hình đặc trưng dạng dày (dense model) sẽ chậm hơn nhiều so với mô hình hỗn hợp chuyên gia (Mixture-of-Experts). Cấu hình RAM cụ thể hoặc dòng chip X2 Elite không được tiết lộ.

Về bộ nhớ, McMaster chia sẻ rằng “chúng tôi khuyên dùng 64GB vì nó mang lại khả năng tiếp cận các mô hình tốt hơn,” nhưng đây không phải là yêu cầu bắt buộc. Công ty dự báo rằng “khoảng 70% các lệnh gọi mô hình mà hệ điều hành quản lý sẽ chạy cục bộ vào năm 2027.”

Kora cho biết phiên bản Humain OS tập trung cho doanh nghiệp sẽ ra mắt trước và “có mặt trên thị trường vào năm 2027” trên các dòng PC OEM sử dụng Snapdragon X2 Elite. Kora sẽ nối tiếp “vào cuối năm 2027.”

McMaster cho biết “Kora sẽ được đăng tải trên trang web của chúng tôi và bất kỳ ai cũng có thể tải về để cài đặt.” Sẽ đi kèm một danh sách các cấu hình được khuyến nghị, “nhưng hệ điều hành này có thể cài đặt trên hầu hết các dòng PC hiện đại.” Mức giá chính xác và mô hình kinh doanh tổng thể sẽ được công bố gần thời điểm sản phẩm chính thức có mặt.