Đội ngũ Vera của NVIDIA: Thiết kế chiplet từng khiến hiệu năng đơn nhân hy sinh vì số lượng nhân

CPU Vera của NVIDIA báo hiệu một sự định hình lại kiến trúc điện toán từ mô hình truyền thống sang hệ sinh thái thông minh mang tính tác nhân, chuyển đổi vai trò của bộ vi xử lý trung tâm từ một thiết bị đa nhiệm đa năng thành một nhạc trưởng chuyên biệt được thiết kế riêng để quản lý các vòng lặp suy luận nhiều bước của các AI tác nhân.

Gần đây, Wccftech đã có cơ hội ngồi lại với đội ngũ phát triển Vera của NVIDIA để thảo luận về vai trò mới nổi của CPU trong nền kinh tế AI tác nhân đang phát triển nhanh chóng. Hãy cùng khám phá sự hồi sinh của hiệu năng đơn luồng, quy mô đáng kinh ngạc của các sandbox AI do CPU kiểm soát và tỷ lệ CPU trên GPU đang tiến hóa.

Sau nhiều năm hạ tầng đám mây ưu tiên số lượng nhân khổng lồ để đánh đổi tốc độ trên từng nhân, AI tác nhân đang buộc ngành công nghiệp phải đảo ngược xu thế này, và Vera của NVIDIA chính là minh chứng cho sự dịch chuyển mô hình đó.

Tổng quan về CPU Vera

Vào đầu những năm 2010, thiết kế trung tâm dữ liệu tập trung tối đa hóa hiệu năng của từng nhân xử lý riêng lẻ thay vì số lượng nhân tuyệt đối. Trong giai đoạn này, các hãng dẫn đầu thị trường như Intel tập trung vào các kiến trúc (như thế hệ Haswell) với ít nhân hơn nhưng chạy ở xung nhịp cao hơn.

Kỷ nguyên này nằm ở góc phần tư trên bên trái của thiết kế CPU, đặc trưng bởi hiệu năng đơn luồng cao nhưng thông lượng tổng thể thấp.

Khi các nhà cung cấp dịch vụ điện toán đám mây quy mô lớn phát triển, ngành công nghiệp chuyển hướng sang kinh tế quy mô. Nhu cầu dịch chuyển sang việc nhồi nhét càng nhiều nhân vào một máy chủ càng tốt để tối đa hóa doanh thu trên mỗi đơn vị máy chủ. Để đạt được mật độ này và kiểm soát chi phí, các hãng x86 đã chuyển từ thiết kế đơn chip sang bố cục đa chiplet. Tuy nhiên, việc mở rộng số lượng nhân ồ ạt này lại đánh đổi trực tiếp vào việc tối ưu hóa đơn nhân và số lệnh trên mỗi chu kỳ (IPC).

Kỷ nguyên này chiếm góc phần tư dưới bên phải, mang lại thông lượng lớn nhưng hiệu năng đơn luồng thấp.

Sự trỗi dậy của AI tác nhân đã đưa CPU trở lại vị trí trung tâm trong lộ trình thiết kế phần cứng. Các AI tác nhân hoạt động trong một vòng lặp liên tục và nhanh chóng giữa GPU và CPU. Vì GPU là tài sản đắt giá và quan trọng nhất trong một nhà máy AI, CPU phải hoàn thành các tác vụ tuần tự của nó ngay lập tức để tránh việc GPU phải ngồi chờ đợi. Mô hình này đòi hỏi một sự kết hợp chưa từng có về tốc độ, khả năng truy cập bộ nhớ và độ trễ tối thiểu.

CPU Vera của NVIDIA giải quyết nút thắt cổ chai của AI tác nhân bằng cách phá vỡ sự đánh đổi lịch sử của kỷ nguyên đám mây, tự định vị mình ở góc phần tư trên bên phải khó nắm bắt - hiệu năng đơn luồng cao kết hợp với thông lượng cao. Nó đạt được điều này thông qua ba lựa chọn thiết kế cụ thể: tốc độ trên mỗi nhân cao, hệ thống phụ bộ nhớ LPDDR5X tùy chỉnh cho băng thông lớn, và một đế tính toán nguyên khối duy nhất được hỗ trợ bởi Scalable Coherent Fabric thế hệ thứ hai của NVIDIA để loại bỏ độ trễ.

Phân rã chức năng CPU, các nhân Olympus và thuế hiệu năng từ đa luồng không gian

Cảnh quan hạ tầng AI đang chuyển dịch khỏi các node máy chủ đồng nhất, tất cả trong một để hướng tới các thiết lập không đồng nhất, chuyên biệt cao. Một ví dụ điển hình của xu hướng này được thấy trong các workload suy luận AI hiện đại, nơi các giai đoạn xử lý riêng biệt - việc đọc dữ liệu ban đầu (pre-fill) và tạo token tuần tự (decode) - nay được tách thường xuyên ra các cụm phần cứng hoàn toàn riêng biệt để tối ưu hóa hiệu quả.

Chiến lược CPU ban bộ của NVIDIA tập trung vào việc tạo ra host node tối ưu - một bộ processor được thiết kế thuần túy để cung cấp dữ liệu cho một cụm GPU trong một rack máy chủ. Tuy nhiên, các nhu cầu độc đáo của các luồng công việc tác nhân và học tăng cường đã buộc họ phải xoay trục, đặc biệt khi NVIDIA nhận ra rằng có một trường hợp sử dụng cho các rack CPU thuần túy để xử lý các lệnh gọi công cụ của tác nhân và các tác vụ học tăng cường.

Do sự xoay trục này, CPU Vera không còn được xem xét một cách khắt khe như một thành phần tích hợp bị kẹt bên trong kiến trúc GPU-CPU kết hợp. Thay vào đó, Vera đang được thương mại hóa như một tài sản CPU độc lập, hoàn chỉnh với các rack Vera thuần túy chỉ để nghiền nát khối lượng lớn các lệnh gọi công cụ tác nhân và vòng lặp suy luận.