CPU Vera của NVIDIA mang lại hiệu năng gấp đôi cho Modal so với Intel và AMD

Các CPU Vera của NVIDIA mang lại cho Modal hiệu suất tăng gấp 2 lần trong các sandbox Agentic AI so với các CPU Intel và AMD.

Modal đã phải thực hiện những thay đổi lớn để chuyển sang CPU Vera của NVIDIA vì trước đây họ phụ thuộc vào các chip x86, nhưng sự dịch chuyển này đã mang lại mức tăng trưởng gấp 2 lần.

CPU Vera của NVIDIA tiếp tục thay đổi nhận thức của thị trường về các CPU dựa trên kiến trúc Arm dành cho các trường hợp sử dụng Agentic AI. Bản thân Arm đã làm nổi bật các lợi thế của dòng CPU AGI so với các lựa chọn x86, nhưng giải pháp của NVIDIA dường như đang nhanh chóng trở thành lựa chọn hàng đầu cho nhiều công ty trước đây từng chạy chip x86.

Modal là một trong số những công ty như vậy, gần đây đã nhận được các máy chủ CPU Vera đầu tiên tại văn phòng San Francisco của họ. Cho đến nay, công ty chỉ dựa vào các hệ thống x86 trang bị chip AMD và Intel, vì vậy việc chuyển sang hệ sinh thái dựa trên Arm đòi hỏi những thay đổi về cơ sở hạ tầng và hệ thống xây dựng hình ảnh.

Bất chấp những thay đổi tốn nhiều công sức, Modal gọi bước chuyển sang NVIDIA Vera là rất ấn tượng, mang lại sự gia tăng gấp 2 lần về thông lượng AI trên các sandbox Agentic AI, và gọi đây là một "lựa chọn cực kỳ hấp dẫn".

Trong hầu hết các hệ thống, thông lượng và độ trễ là một sự đánh đổi.

Độ trễ có thể được định nghĩa là thời gian trôi qua từ khi bắt đầu đến khi kết thúc một tác vụ.

Thông lượng là số lượng tác vụ hoàn thành trên mỗi đơn vị thời gian. Điều này kiểm tra khả năng của hệ thống chủ trong việc đan xen đồng thời các quá trình và đạt được tiến độ trên tất cả chúng cùng một lúc.

Bạn đóng gói các tác vụ càng dày đặc, thông lượng càng cao. Nhưng một khi CPU được tận dụng tối đa, độ trễ của từng tác vụ sẽ bị ảnh hưởng do sự tranh giành tài nguyên.

Về trình lập lịch của Modal, chúng tôi luôn bị cám dỗ chạy ở mật độ đóng gói cao hơn, để vắt kiệt sức mạnh từ các máy chủ mà chúng tôi có, và cung cấp một quy mô tuyệt đối cao hơn mà người dùng có thể đạt được. Nhưng cũng giống như khối lượng công việc có tính đột biến bên trong các container của chúng tôi, quy mô tuyệt đối của các container trong cụm của chúng tôi cũng có tính đột biến, điều này khiến chúng tôi có nguy cơ đóng gói quá nhiều máy chủ.

Để thử nghiệm NVIDIA Vera, Modal đã xây dựng một tập hợp các khối lượng công việc và điểm chuẩn đại diện cho các sandbox tác tử. Điều này liên quan đến việc phát triển "Agentless Agent Bench", nơi lưu trữ một bộ sưu tập gồm 50 giải pháp và trình xác minh oracle của Terminal-Bench. Điểm chuẩn cho thấy cả số liệu hoàn thành tuyến tính và thông lượng đồng thời.

Các thử nghiệm đầu tiên cho thấy sự cải thiện tốt so với các chip x86, nhưng chúng được chạy mà không có bất kỳ tải trọng nào, về cơ bản biến chúng thành một bài kiểm tra độ trễ đường thẳng thuần túy.

Dưới tải trọng, CPU Vera của NVIDIA trở thành một cỗ máy hoàn toàn khác biệt. Về mặt thông lượng, Vera cung cấp mức tăng gấp 2 lần so với một chip Intel Xeon "Granite Rapids" tương đương. Lợi thế này đến từ thực tế là không giống như các CPU x86, Vera không chậm lại khi các công việc tích tụ mà thay vào đó lướt qua từng công việc theo tốc độ ban đầu của nó.

Kết quả tự nói lên tất cả:

So với Intel Xeon: Lên đến gấp đôi thông lượng tác vụ trên mỗi nhân.

So với AMD EPYC: Hơn 6 lần thông lượng tác vụ ở 150 container đồng thời, với 124 CPU logic được kích hoạt trên mỗi hệ thống.

Tính năng cốt lõi của Vera là khả năng chịu đựng dưới áp lực tranh chấp tài nguyên. Băng thông bộ nhớ cao của nó cho phép đóng gói khối lượng công việc container trên mỗi nhân nhiều hơn đáng kể mà không bị điều tiết CPU - điều giải thích tại sao Vera lại vượt xa các lựa chọn thay thế trong các điểm chuẩn của chúng tôi.

Ở số lượng CPU bổ sung, các lựa chọn thay thế đạt đến mức trượt thông lượng sớm, trong khi Vera tiếp tục cải thiện, cho thấy chúng tôi có thể đẩy nó vượt xa cả nút mà chúng tôi có quyền truy cập để chấm điểm chuẩn.

Sự chuyển dịch của Modal sang CPU Vera của NVIDIA, bất chấp những thay đổi quan trọng về cơ sở hạ tầng và xây dựng hình ảnh cần thiết để chuyển từ x86, đã mang lại sự gia tăng thông lượng 2x rõ rệt trong các sandbox Agentic AI.

Dưới tải trọng, Vera duy trì hiệu suất mạnh mẽ mà không gặp tình trạng điều tiết tiêu biểu của CPU Intel và AMD, nhờ băng thông bộ nhớ cao và khả năng đóng gói nhiều khối lượng công việc đồng thời hơn trên mỗi nhân. Kết quả là một lựa chọn dựa trên Arm hấp dẫn giúp mở rộng quy mô hiệu quả hơn cho các khối lượng công việc tác tử dày đặc, chịu áp lực cao.