Startup INT21 dùng bầy đàn AI viết lại mã nguồn chạy mô hình AI chỉ trong 60 phút

INT21 và cuộc cách mạng tối ưu hóa suy luận AI

INT21, một startup hạ tầng tự cải tiến với triết học sử dụng năng lực tính toán để cải thiện năng lực tính toán, vừa hướng sự chú ý vào phần mềm thay vì sự khan hiếm của GPU NVIDIA. Họ đã cải thiện đáng kể tốc độ của mô hình Drama 3 thuộc Fish Audio bằng cách thiết kế các công cụ suy luận tùy chỉnh bằng ngôn ngữ lập trình Rust thông qua một bầy đàn tác tử AI, xây dựng thành công một công cụ suy luận khả thi chỉ trong khoảng một giờ.

Phương pháp độc đáo: Bầy đàn AI, ngôn ngữ Rust thay cho Python và quy trình lặp

Phương pháp cốt lõi của INT21 xoay quanh hạ tầng tự cải tiến, đảo ngược mô hình kỹ thuật phần mềm truyền thống. Thay vì các kỹ sư con người cặm cụi viết mã để chạy các mô hình AI, INT21 sử dụng các bầy đàn tác tử AI để tự động viết, kiểm thử và tối ưu hóa mã nguồn đó.

SwarmOS, một nền tảng điện toán đám mây điều phối hàng nghìn tác tử AI cùng lúc, là bí quyết của INT21 trong nỗ lực này. Các tác tử này hoạt động bên trong Inference Engine Factory, một hệ thống chuyên dụng xây dựng các trình suy luận phần mềm chạy ngầm thực thi mô hình AI sau khi đã được huấn luyện, chuyển đổi đầu vào của người dùng thành đầu ra.

Quy trình lặp ba bước liên tục của bầy đàn AI bao gồm:

• Biến thể: Bầy đàn tạo ra nhiều mã nguồn thực thi khác nhau cùng lúc.
• Đánh giá: Các biến thể này được kiểm tra trực tiếp trên phần cứng thực tế như GPU NVIDIA B200 để xem mã nào chạy nhanh hơn.
• Giữ lại có chọn lọc: Hệ thống tự động giữ lại mã tốt, loại bỏ mã kém và tiếp tục lặp lại để vắt kiệt hiệu năng.

INT21 không xây dựng hoặc huấn luyện lại mô hình AI từ đầu. Bằng cách tận dụng hơn 20 trình suy luận trên 7 loại mô hình khác nhau, bầy đàn AI ghi nhớ các mẹo tối ưu hóa cho từng kiến trúc cụ thể. Mỗi trình suy luận mới tạo ra sẽ làm cơ sở ban đầu cho cái tiếp theo, giảm đáng kể thời gian triển khai.

Một phần lớn phương pháp hiệu năng của INT21 là loại bỏ Python khỏi đường dẫn triển khai. Python vốn thân thiện nhưng chậm chạp, đòi hỏi các giải pháp phức tạp như Giao tiếp giữa các tiến trình (IPC) để che giấu độ trễ CPU. Bầy đàn của INT21 viết bằng Rust, một ngôn ngữ được biên dịch và an toàn bộ nhớ tương tác gần với giới hạn phần cứng hơn.

Kết quả thử nghiệm trên mô hình Drama 3 của Fish Audio

Dưới quy trình của INT21, con người không viết mã mà chỉ định nghĩa ràng buộc, phần cứng mục tiêu và tiêu chí chấp nhận. Với mô hình Drama 3, INT21 đã mất khoảng sáu mươi phút để thiết kế một công cụ suy luận tùy chỉnh:

• Điểm khởi đầu: Bản phát hành công khai của Fish Audio, sử dụng cơ sở SGLang-Omni.
• Đầu ra: Trình chạy Rust được biên dịch hoàn toàn không có Python.
• Thiết lập: Chạy trên 2 GPU NVIDIA B200, một cho tạo sinh và một cho codec.
• Kết quả: Thời gian cho ra âm thanh đầu tiên đạt từ 15.11 đến 23.58 mili-giây so với 37.79 đến 38.61 mili-giây của SGLang-Omni. Thông lượng cao hơn từ 1.59 đến 1.63 lần.

Phỏng vấn CEO INT21 Bing Xu

Q1: Bạn nói rằng không có quyền truy cập sớm vào Drama 3, nhưng bầy đàn AI đã xây dựng một trình chạy trong 60 phút đánh bại SGLang-Omni. Việc dịch ngược các kiến trúc mô hình thủ công đã chính thức lỗi thời chưa?

Vâng, tôi nghĩ vậy. Với Drama 3, bầy đàn tự cải tiến của chúng tôi có mã chạy bằng Rust trong một giờ nhờ vòng lặp xác thực khép kín. Bầy đàn đã vượt qua ngưỡng hiểu biết về mô hình AI tốt hơn cả chuyên gia con người.

Q2: Drama 3 có các cơ chế phức tạp như FP8 mixture-of-experts, dự đoán đa mã thông báo và chú ý tuyến tính. Bầy đàn đã xử lý thế nào?

Không cơ chế nào làm khó được bầy đàn vì chúng là sự kết hợp từ các thành phần hiện có mà INT21 đã tích lũy kiến thức từ hơn 20 trình suy luận trước đó.

Q3: Việc triển khai bằng Rust không có Python mang lại lợi ích gì thực sự?

Python là ngôn ngữ động thân thiện với con người nhưng ngốn nhiều thời gian CPU và tạo ra sự bất ổn định. Phần lớn các hệ thống suy luận hiện đại tồn tại chỉ để bù đắp cho sự chậm chạp của Python.

Q4: Thời gian phản hồi từ 15 đến 24 mili-giây mang lại ý nghĩa gì cho tương lai của trợ lý giọng nói AI?

Nó cho phép các mô hình trợ lý giọng nói trong tương lai hoạt động liên tục trong không gian tiềm ẩn thay vì phải ghép nối nhiều mô hình rời rạc lại với nhau.