Thẻ tăng tốc AI M.2 DFRobot DX-M1 ra mắt: 25 TOPS, chỉ tốn 5W điện, giá 139 USD

Các GPU ngốn điện và các gói thuê bao đám mây đắt đỏ là tiêu chuẩn khi làm quen với LLM, nhưng điện toán biên lại đòi hỏi một cách tiếp cận hoàn toàn khác. Hầu hết người dùng không cần các cỗ máy chủ cồng kềnh chỉ để xử lý các tác vụ thị giác máy tính cục bộ hoặc phát hiện đối tượng, và đó là lúc phần cứng như DX-M1 của DFRobot phát huy tác dụng. Chỉ yêu cầu một khe cắm M.2 duy nhất trên bo mạch chủ của bạn, bộ tăng tốc AI này mang lại khả năng suy luận mạnh mẽ vào một khe cắm lưu trữ tiêu chuẩn trong khi chỉ có giá 139 USD.

DX-M1 hoàn toàn là một bộ tăng tốc suy luận, vì vậy đừng mong đợi chạy các mô hình AI 70B hoặc thậm chí 27B với dung lượng RAM LPDDR5 khiêm tốn 4GB của nó.

Mặc dù có kích thước giống hệt ổ cứng SSD PCIe NVMe Gen 5 mới nhất, mô-đun tăng tốc AI này vẫn đạt mức tính toán INT8 đáng nể 25 TOPS trong khi chỉ tiêu thụ từ 2W đến 5W điện năng. Tóm lại, hóa đơn tiền điện của bạn sẽ không hề tăng lên khi bạn bận rộn triển khai các tác vụ AI cục bộ liên tục trên robot di động hoặc các thiết lập nhỏ gọn mà không phải đối mặt với các hệ thống tản nhiệt ồn ào hay hiện tượng nghẽn cổ chai nhiệt nghiêm trọng.

Bên trong, phần cứng được cấu hình để hoạt động hoàn toàn độc lập với RAM hệ thống chính nhờ 4GB RAM LPDDR5 tích hợp, dành riêng để tải trọng số mạng thần kinh, bên cạnh 1Tbit (128GB) bộ nhớ Flash QSPI NAND để đảm bảo độ ổn định của firmware và lưu trữ các mô hình đã biên dịch cục bộ.

Mọi liên lạc được xử lý qua giao diện PCIe Gen 3, với DX-M1 hỗ trợ các framework như PyTorch, TensorFlow, TensorFlow Lite và ONNX thông qua bộ công cụ DXNN SDK đi kèm. Tính linh hoạt này cho phép người dùng biên dịch các mô hình như YOLO hoặc MobileNet một cách liền mạch. Tuy nhiên, như đã đề cập ở trên, mô-đun tăng tốc AI này không nên khiến bạn phấn khích nếu bạn quyết tâm chạy LLM cục bộ.

Dung lượng bộ nhớ 4GB đó quá ít, vì vậy bạn sẽ phải duy trì kỳ vọng thực tế về những gì một NPU biên thực sự mang lại. Đây hoàn toàn là một bộ tăng tốc suy luận được thiết kế riêng cho phân tích video thời gian thực, điều hướng robot và kiểm tra trực quan, không phải là một viên đạn bạc cho phép bạn huấn luyện các mô hình học máy hoặc chạy Các mô hình ngôn ngữ lớn 70 tỷ tham số cục bộ.

Một nhược điểm khác là bạn cũng không thể sử dụng bộ nhớ tích hợp của nó làm bộ nhớ hệ điều hành thông thường, nghĩa là nếu bạn định cắm nó vào một khe M.2 trống, bạn sẽ bỏ lỡ cơ hội nâng cấp bộ nhớ của mình bằng một ổ đĩa NVMe tiêu chuẩn. Dù vậy, đối với những người đam mê và nhà phát triển chạy nguồn cấp dữ liệu camera tự động, phát hiện hình ảnh hoặc robot cục bộ mà từ chối cung cấp lượng điện năng lớn cho GPU máy trạm ở chế độ chờ, thanh M.2 giá 139 USD này có vẻ là một giải pháp thay thế tuyệt vời.