Tin công nghệ › Phần mềm & Web

Microsoft ra mắt tính năng RDMA qua USB4 trên Windows 11, cho phép ghép nối nhiều PC chạy mô hình AI khổng lồ

Microsoft vừa công bố công nghệ RDMA qua USB4 trên Windows 11, giúp kết hợp tài nguyên bộ nhớ và GPU của nhiều máy tính phổ thông để chạy các mô hình AI vượt quá giới hạn phần cứng đơn lẻ. Công nghệ này mang lại độ trễ thấp hơn đến 4 lần mà không cần phần cứng mạng chuyên dụng đắt đỏ.

Wccftech23:49 22/11/20264 phút đọc

Ảnh: Wccftech

Microsoft đã công bố một tính năng mới trên Windows 11 có khả năng mở rộng đáng kể năng lực điện toán AI cục bộ, cho phép nhiều PC kết hợp tài nguyên bộ nhớ và xử lý GPU thông qua các kết nối USB4 thông thường. Được gọi là RDMA over USB4, công nghệ này giúp chạy các mô hình AI khổng lồ vốn vượt quá dung lượng bộ nhớ của một hệ thống đơn lẻ, mà không cần phần cứng mạng chuyên dụng.

Theo thông báo chính thức của Microsoft, các thử nghiệm ban đầu đã mang lại kết quả ấn tượng, bao gồm việc giảm đáng kể độ trễ truyền thông và thực thi thành công các mô hình AI chứa tới 235 tỷ tham số.

RDMA Over USB4 của Microsoft mang lại độ trễ giao tiếp thấp hơn tới 4 lần, với sự trình diễn mô hình AI cục bộ quy mô lớn từ AMD và Intel

Công nghệ này dựa trên Remote Direct Memory Access (RDMA), cho phép dữ liệu di chuyển trực tiếp giữa bộ nhớ của các hệ thống được kết nối mà bỏ qua phần lớn ngăn xếp mạng thông thường. Vốn gắn liền với các máy chủ hiệu năng cao và trung tâm dữ liệu, RDMA giúp giảm đáng kể chi phí truyền thông và độ trễ.

Microsoft đang mang các tính năng này lên PC Windows phổ thông thông qua USB4, tận dụng giao diện NetworkDirect hiện có và nhà cung cấp RDMA dựa trên phần mềm mới. Các hệ thống tương thích có thể giao tiếp trực tiếp qua USB4 hoặc kết nối Thunderbolt được hỗ trợ, không cần bộ điều hợp mạng RDMA chuyên dụng hoặc thiết bị chuyển mạch mạng.

Trong các phép đo của Microsoft, RDMA over USB4 đạt độ trễ khứ hồi khoảng 28–50 microsecond đối với các thông điệp nhỏ, thể hiện mức giảm khoảng 4 lần so với giao tiếp Ethernet-over-USB4 thông thường sử dụng UDP. Độ trễ vẫn duy trì mức thấp tương tự trên cả kết nối 40 Gbps và 80 Gbps, mặc dù kết nối sau cung cấp băng thông danh định gấp đôi.

Lợi ích trở nên rõ ràng hơn khi phân phối khối lượng công việc suy luận AI lớn trên nhiều PC.

Làm việc với AMD, Microsoft đã trình diễn ba máy tính mini được trang bị bộ vi xử lý Ryzen AI Max+ 395, đồ họa Radeon 8060S và 128 GB bộ nhớ hợp nhất mỗi máy. Được kết nối thông qua cấu hình USB4 40 Gbps dạng lưới đầy đủ (full-mesh), các hệ thống đã chạy thành công mô hình hỗn hợp chuyên gia Qwen3-235B-A22B với 235 tỷ tham số ở tốc độ khoảng 18,5 token mỗi giây bằng cách sử dụng lượng tử hóa 4-bit.

Các phép đo riêng của AMD cho thấy kết quả thậm chí còn tốt hơn, đạt 21,98 token mỗi giây trong quá trình giải mã và 117,98 token mỗi giây trong quá trình xử lý prompt.

Intel cũng trình diễn công nghệ này bằng cách sử dụng ba và bốn PC chạy bộ vi xử lý Core Ultra Series 3, mỗi máy có 64 GB bộ nhớ và kết nối Thunderbolt 4. Chạy mô hình GPT-OSS-120B, Intel ghi nhận khoảng 49,4 token mỗi giây với ba PC, tăng lên 54,2 token mỗi giây với bốn hệ thống ở độ dài ngữ cảnh 1.000 token.

Những số liệu này đặc biệt đáng chú ý vì mô hình 120 tỷ tham số không thể chứa vừa trong bộ nhớ của một hệ thống 64 GB đơn lẻ.

RDMA Over USB4 chuẩn bị đến với người dùng Windows Insiders, nhưng vẫn có một số hạn chế quan trọng

Bất chấp những kết quả đầy hứa hẹn, công nghệ mới của Microsoft vẫn mang tính thử nghiệm và đòi hỏi các cấu hình phần cứng và phần mềm cụ thể.

Các PC tham gia phải có kết nối USB4 do Windows quản lý, hoạt động ở tốc độ 40 Gbps trở lên là tốt nhất. Microsoft cũng khuyến nghị cấu hình dạng lưới đầy đủ (full-mesh), nghĩa là mọi PC kết nối trực tiếp với mọi hệ thống khác thay vì dựa vào việc nối tiếp (daisy-chaining), vốn có thể làm giảm hiệu năng đáng kể.

Hơn nữa, các ứng dụng phải hỗ trợ rõ ràng việc thực thi phân tán thông qua các framework tương thích. Microsoft đã phát hành mã nguồn mở cho nhà cung cấp NetworkDirect và một bản triển khai llama.cpp đã chỉnh sửa để minh họa công nghệ này.

RDMA over USB4 dự kiến sẽ xuất hiện trong bản dựng sắp tới của kênh Windows Insider Experimental Channel (Future Platforms), mặc dù Microsoft chưa công bố ngày phát hành cụ thể.

Bản xem trước dành cho nhà phát triển sẽ vẫn bị vô hiệu hóa theo mặc định và yêu cầu cấu hình Registry cùng tính năng ký thử nghiệm (test signing), tính năng sau tạm thời yêu cầu tắt Secure Boot. Do đó, Microsoft khuyên bạn nên thử nghiệm trên các máy phát triển chuyên dụng thay vì PC sử dụng hàng ngày.

Mặc dù khả năng cung cấp rộng rãi hơn trên Windows vẫn chưa chắc chắn, công nghệ này cuối cùng có thể giúp việc suy luận AI cục bộ mạnh mẽ trở nên dễ tiếp cận hơn đáng kể, cho phép các nhà phát triển phân phối khối lượng công việc trên các PC hiện có thay vì đầu tư vào các máy chủ AI chuyên dụng đắt tiền.

Bài gốc (tiếng Anh): Microsoft Unveils RDMA Over USB4 For Windows 11, Combining Multiple PCs To Run Massive AI Models With Up To 4X Lower Latency
Nguồn: Wccftech · Bản dịch tiếng Việt của VGSNews, chỉ để tham khảo.
FacebookTelegramX← Tin khác