Tom's Hardware hé lộ bước đầu xây dựng chuẩn benchmark CPU cho AI tự hành

Agentic AI đã tạo ra một cơn sốt lớn trong thế giới CPU suốt sáu tháng qua, nhưng đây vẫn là một mảng hiệu năng chưa có các bài benchmark vững chắc và có thể lặp lại để đánh giá vị trí của phần cứng mới nhất. Chúng tôi đã và đang phát triển một bộ bài kiểm tra nội bộ để đánh giá ít nhất một khía cạnh của các vòng lặp agentic tranh chấp từ đầu đến cuối, cô lập hiệu năng CPU và bộ nhớ khỏi bộ tăng tốc để hiểu cách các thành phần này đóng góp vào vòng lặp agentic.

Đây vẫn là một công việc đang tiến hành, nhưng chúng tôi muốn đưa các độc giả của mục Tom’s Hardware Premium hậu trường để hiểu cách chúng tôi giải quyết vấn đề này, phương pháp thử nghiệm của mình, và chi tiết những gì chúng tôi đã học được về các vòng lặp agentic dọc đường đi. Chúng tôi đã dựng mẫu bài kiểm tra và chốt thiết kế cốt lõi, nhưng vẫn còn nhiều việc phải làm trước khi các con số do nó tạo ra đủ sức chống chọi với sự soi xét.

Định nghĩa các vòng lặp AI tự hành

Các tác nhân AI (AI agents) ngụ ý một số công nhân nhỏ được trang bị LLM, có thể đi và xử lý bất kỳ nhiệm vụ nào bạn ném cho họ. Đó là một mô tả ổn, nhưng chúng ta sẽ cần một định nghĩa kỹ thuật hơn một chút nếu định benchmark hiệu năng của agentic AI.

Có hai phần quan trọng ở đây. Đầu tiên là các hàm (functions). Với agentic AI, chúng tôi cung cấp cho LLM quyền truy cập vào các công cụ, trong trường hợp các framework agentic phổ biến như LangGraph, đó là các hàm Python. Công cụ có thể là đọc hoặc ghi một file, truy vấn cơ sở dữ liệu, chạy kiểm tra trên mã nguồn, hoặc bất kỳ thứ gì khác mà bạn có thể xác định trong một hàm. Dưới đây là một ví dụ cơ bản.

```python
@tool def run_command(command: str) -> str:
"""Run a build or test command in the repository root. Allowed: make [targets], python -m pytest [args]."""
return traced("run_command", {"command": command}, lambda: ws.run_command(command))
```

Đây là cách bạn viết một lệnh gọi công cụ với LangGraph bên trong Python và đó là ví dụ về một lệnh gọi công cụ mà chúng tôi đã cung cấp cho LLM quyền truy cập thông qua persona LangGraph của mình. Chúng tôi xác định hàm là một công cụ mà LLM có thể gọi bằng "@tool", sau đó chúng tôi định nghĩa hàm như Python bình thường bằng "def run_command", truyền lệnh qua như một đối số.

Theo sau đó là mô tả về công cụ mà LLM có thể đọc. AI tự hành thường được mô tả là một "vòng lặp", và đó là vì nhiệm vụ thường yêu cầu gọi một công cụ nhiều lần và/hoặc gọi các công cụ khác nhau.

Bắt đầu với tính đồng thời

Chúng tôi sẽ đi sâu vào các bài kiểm tra cụ thể và những gì chúng đang làm sau trong bài viết này, nhưng thật tốt khi đặt nền móng cho lý do tại sao benchmark của chúng tôi được thiết kế theo cách này. Chúng tôi đã phát triển bài kiểm tra trên Nvidia DGX Spark (GB10) có 128 GB bộ nhớ hợp nhất (unified memory), GPU Blackwell và CPU Arm Grace tương đối yếu.

Vấn đề ở đây là tỷ trọng thời gian tiêu tốn, chứ không phải mô hình hay công việc cụ thể mà các agent đang thực hiện. Mỗi kết quả ở đây là một danh sách các tác vụ tuần tự để agent thực thi đối với mô hình, và gần như toàn bộ thời gian dành cho GPU. Ngay cả các tác vụ CPU tương đối đòi hỏi khắt khe cũng chỉ chiếm một phần nhỏ thời gian tính toán.

Thay vì thiết kế nền tảng thử nghiệm theo cách tạo ra sự mất cân bằng nghiêm trọng giữa CPU và GPU, chúng tôi hướng tới tính đồng thời (concurrency). Ý tưởng là quét qua con chip với các phiên đồng thời chạy danh sách tác vụ trong vòng lặp ở các tiến trình riêng của chúng. Khi quá trình quét mở rộng quy mô, sự tranh chấp trên CPU bắt đầu xuất hiện.