CPU AGI của Arm đánh bại AMD EPYC Turin trong các tác vụ AI tự trị

CPU AGI của Arm đã được đem ra so sánh hiệu năng với AMD EPYC, mang lại hiệu suất vượt trội gấp đôi trong các tác vụ AI tự trị (agentic AI).

Arm đưa CPU AGI đọ sức với AMD EPYC Turin, cho thấy hiệu suất gấp đôi nhưng vẫn thiếu vắng EPYC Venice dựa trên Zen 6

Khi ngành công nghiệp liên tục cho ra mắt các con chip được tối ưu hóa cho AI tự trị, cuộc cạnh tranh trong lĩnh vực này đang trở nên nóng hơn bao giờ hết. Gần như mỗi tuần, chúng ta lại thấy một nhà cung cấp khoe kết quả vượt trội hơn đối thủ, để rồi các đối thủ ngay lập tức tung ra các bài benchmark của riêng họ.

Tại sự kiện OCP 2026, Arm đã trình diễn một số khía cạnh hiệu năng mới của CPU AGI. Những kết quả benchmark này mở rộng thêm các số liệu mà công ty từng công bố trước đó.

Chip AGI là một vi xử lý được thiết kế bởi Arm và ra mắt vào đầu năm nay. Đây là silicon CPU cấp độ máy chủ đầu tiên do chính công ty thiết kế và được tinh chỉnh riêng cho các tác vụ AI tự trị với các tiêu chí hiệu năng cao, khả năng mở rộng và tiết kiệm điện năng đặt lên hàng đầu. Con chip này sở hữu các nhân Neoverse thế hệ thứ 3. Các nhân này đã được tối ưu hóa đặc biệt thông qua sự hợp tác nhiều tầng với các nhà cung cấp dịch vụ đám mây lớn (hyperscalers) cho các luồng công việc AI tự trị.

Một số tối ưu hóa này bao gồm việc giảm độ trễ bộ nhớ để đảm bảo mỗi nhân đều nhận được băng thông bộ nhớ cao. Các con chip cũng được thiết kế để đạt khả năng mở rộng tuyến tính ở cấp độ tủ rack mà không bị suy giảm hiệu năng (đạt mức sử dụng 90-95%). Chúng cũng được thiết kế với mức tiêu thụ điện năng giúp giảm bớt sự phụ thuộc vào năng lực làm mát bổ sung, từ đó giảm chi phí và cho phép các nhà cung cấp đám mây nhồi nhét nhiều nhân hơn vào mỗi rack.

Đối với các bài benchmark mới nhất, công ty nghiên cứu Signal65 đã đưa CPU AGI trải qua chuỗi thử nghiệm trên TerminalBench và SwayBench. CPU AGI được so sánh với một con chip AMD EPYC Turin dựa trên kiến trúc Zen 5. Kết quả cho thấy CPU AGI không chỉ mang lại hiệu năng trên mỗi nhân cao hơn, mà còn duy trì hiệu năng trên mỗi rack tốt hơn.

Tính trên mỗi chip, CPU AGI đạt trung bình gấp 1,20 lần so với EPYC 9755 qua bảy tác vụ, trong đó AMD thắng hoàn toàn ở hai tác vụ: MySQL ở mức 0,88x và Milvus ở mức 0,95x nghiêng về phía kiến trúc x86 ở cấp độ socket. Con số 1,99x xuất hiện từ mô hình công suất máy chủ được định mức của Arm, cho phép đặt từ 21 đến 23 máy chủ CPU AGI vào một rack 24 kW so với 13 máy chủ EPYC 9755, tương đương 5.712 đến 5.888 nhân vật lý so với 3.328 nhân, bởi vì một máy chủ CPU AGI tiêu thụ mức điện định mức từ 950 W đến 1.050 W so với 1.700 W cho hệ thống EPYC hai socket.

Nhân kết quả trên mỗi chip với hệ số mật độ từ 1,62x đến 1,77x đó, chúng ta có được con số ở cấp độ rack. Phân tích độ nhạy của báo cáo rất đáng chú ý: bộ nhớ được cấu hình ở mức 4 GB cho mỗi luồng phần cứng, điều này giúp rack EPYC có hỗ trợ SMT đạt khoảng 2 TB bộ nhớ mỗi máy chủ so với 1 TB của CPU AGI, và việc tính toán theo từng nhân vật lý thay vào đó sẽ làm giảm mức trung bình của bảy tác vụ từ 1,99x xuống còn khoảng 1,81x.

Bản tóm tắt kết quả kiểm tra được cung cấp dưới đây:

CPU AGI của Arm mang lại khối lượng công việc gấp đôi trên mỗi rack. Qua bảy tác vụ, CPU AGI cung cấp trung bình gấp 1,99x hiệu năng mô phỏng trên mỗi rack so với EPYC 9755, với các tác vụ đơn lẻ dao động từ 1,43x đến 3,19x.

Mật độ ở cấp độ rack là yếu tố thúc đẩy chính. Sự tập trung của Arm AGI vào hiệu quả và khả năng mở rộng cho phép đạt mật độ tính toán ở cấp độ rack. Mô hình công suất định mức của Arm đặt 21 đến 23 máy chủ CPU AGI trong một rack 24 kW so với 13 máy chủ EPYC 9755: 5.712 đến 5.888 nhân vật lý so với 3.328 nhân. Hệ số mật độ là tỷ lệ công suất máy chủ, do đó nó giữ nguyên ở bất kỳ mức công suất rack nào.

Hiệu năng ở cấp độ rack cao hơn trong các tác vụ AI tự trị. CPU AGI của Arm dẫn đầu ở cả ba danh mục hiệu năng AI tự trị về hiệu năng mô phỏng ở cấp độ rack, đạt trung bình 1,7x cho công cụ (tooling), 2,0x cho quy trình tự trị đầu cuối và 2,2x cho suy luận/lập kế hoạch, trong khi vận hành ở mức công suất định mức thấp hơn AMD EPYC 9755 (950 đến 1.050 W so với 1.700 W cho mỗi máy chủ hai socket).

Độ trễ tạo sandbox thấp hơn. So với AMD EPYC 9965 hai socket, CPU AGI tạo sandbox nhanh hơn trên cả ba môi trường chạy sandbox được báo cáo trong Sandbench (runc, Firecracker và gVisor), mất ít thời gian hơn 45% cho khởi động lạnh (cold start), ít hơn 27% cho khởi động ấm (warm start) và ít hơn 41% trong trường hợp xấu nhất dưới tình trạng quá tải 4x, giúp giảm chi phí vận hành của các môi trường tác nhân.

Trong cuộc phỏng vấn độc quyền của chúng tôi với NVIDIA, công ty này cũng nêu bật cách hiệu năng đơn nhân là yếu tố dẫn đầu trong các tác vụ AI tự trị.

Các nhà sản xuất chip đang không ngừng nỗ lực bổ sung thêm hiệu năng cho mỗi nhân. Mặc dù số lượng nhân tiếp tục tăng và rất cần thiết cho một loạt các tác vụ, các tác nhân AI đòi hỏi những nhân nhanh hơn và đó là nơi mọi người đang tập trung vào.

Cuối cùng thì bạn cần phải có một CPU mang lại sự cân bằng giữa cả hai, và đó là những gì CPU AGI được thiết kế để làm. Nó được thiết kế để cung cấp cho bạn sự cân bằng giữa hiệu năng cũng như hiệu quả và khả năng mở rộng. Đồng thời, nó cũng cung cấp cho bạn một dải hoạt động có thể định cấu hình rất linh hoạt.

Do đó, nếu bạn muốn tinh chỉnh nó nhiều hơn cho hiệu năng trên mỗi nhân, có cách để làm điều đó. Nếu bạn muốn tối ưu hóa nó để mang lại hiệu năng cao hơn trên mỗi rack, cũng có cách để làm điều đó.

Ngoài ra, các bài benchmark này cũng bỏ qua các con chip EPYC Venice của AMD dựa trên kiến trúc Zen 6, vốn thể hiện sự bứt phá lớn về hiệu năng đơn nhân. Khi dòng Venice tiếp tục được triển khai, chúng tôi rất muốn thấy thêm nhiều bài benchmark so sánh với các sản phẩm mới nhất từ đối thủ.