NVIDIA giảm mục tiêu tốc độ HBM4 và băng thông NVLink cho kiến trúc Vera Rubin

NVIDIA đã chính thức thực hiện các thay đổi trên toàn bộ dòng sản phẩm Vera Rubin, giảm các thông số kỹ thuật mục tiêu đối với bộ nhớ và kết nối nội bộ. Theo bảng thông số sản phẩm cập nhật, thay đổi đầu tiên liên quan đến bộ nhớ HBM4. Trước đây, NVIDIA sử dụng HBM4 với tốc độ 11,7 Gbps mỗi chân pin, nay đã giảm xuống còn 9,6 Gbps mỗi chân pin. Trong giải pháp quy mô tủ rack Vera Rubin NVL72, NVIDIA hiện cung cấp tổng băng thông bộ nhớ là 1.400 TB/s, giảm so với mức 1.580 TB/s từng được quảng cáo trước đó. Mặc dù sự cố này không bắt nguồn trực tiếp từ các nhà cung cấp của NVIDIA, nhưng nó cho thấy việc hãng triển khai chiều rộng bus bộ nhớ và tín hiệu điện tổng thể chưa đủ để hỗ trợ tốc độ cao hơn.

Tuy nhiên, các thay đổi không chỉ dừng lại ở bộ nhớ. NVIDIA cũng đã giảm băng thông NVLink trên mỗi GPU từ mức 1.8 TB/s xuống còn 1.5 TB/s trước đó. Điều này dẫn đến việc giảm từ 3.6 TB/s xuống 3 TB/s băng thông NVLink hai chiều cho mỗi GPU. Vấn đề cơ bản liên quan đến tính toàn vẹn tín hiệu, khi NVIDIA được cho là đã hạ mục tiêu tần số Nyquist của NVLink từ 56 GHz xuống 47 GHz. Việc hạ tần số Nyquist giúp giảm các yêu cầu về điện đối với SerDes, cáp và vật liệu, điều này có thể cải thiện năng suất sản xuất và tính khả thi tổng thể, mặc dù đòi hỏi phải chấp nhận sự giảm sút nhỏ về băng thông kết nối đỉnh. Do đó, NVIDIA đã chọn hy sinh một phần băng thông để nâng cao sự ổn định của hệ thống.

Hiện tại, giải pháp của NVIDIA đang kém hơn hệ thống Helios quy mô tủ rack của AMD ở cả dung lượng bộ nhớ lẫn băng thông bộ nhớ. Dòng Instinct MI455X của AMD cung cấp bộ nhớ băng thông cao lớn hơn đáng kể so với dòng Vera Rubin đã được sửa đổi của NVIDIA, với 432 GB HBM4 mỗi GPU ở mức 23,3 TB/s so với 288 GB ở mức 19,2 TB/s của Rubin. Ở cấp độ tủ rack 72 GPU, Helios tổng hợp khoảng 31 TB HBM4 với khoảng 1,67 PB/s tổng băng thông bộ nhớ, so với khoảng 20,7 TB và 1,4 PB/s trên Vera Rubin NVL72. Khoảng cách này cũng mở rộng sang các kết nối nâng cấp quy mô. UALoE của AMD mang lại 3.6 TB/s hai chiều mỗi GPU (tổng cộng 260 TB/s), trong khi NVLink của NVIDIA đã giảm xuống còn 3 TB/s mỗi GPU (tổng cộng 216 TB/s). Những khác biệt này mang lại cho Helios lợi thế rõ ràng ở cả dung lượng bộ nhớ trên bo mạch lẫn băng thông ở cấp độ hệ thống.