Modder mở khóa hiệu năng tính toán trên card GeForce RTX 20, 30 và 40

Các card đồ họa GeForce RTX 30-series và RTX 40-series của NVIDIA được xây dựng trên cùng một đế silicon với các dòng GPU chuyên dụng dành cho doanh nghiệp. Điều này có nghĩa là tiềm năng tính toán của các GPU dòng phổ thông bị hạn chế bởi ngăn xếp phần sụn của NVIDIA, nhưng các modder đã quản lý để mở khóa tốc độ phát hành lệnh tương đương với các mẫu GPU chuyên nghiệp của họ.

Bắt đầu với GeForce RTX 30-series "Ampere", một nhà nghiên cứu đã phát triển bản mở khóa giúp tăng gấp đôi tốc độ phát hành lệnh của FP/BF16 FMA thành các phép toán FP32 trên các bo mạch dùng chip GA102, GA103, GA104 và GA106. Kết quả là các dòng card như GeForce RTX 3090 Ti đạt hiệu suất nhân ma trận nhanh hơn tới 80% ở chuẩn BF16, vốn đóng vai trò quan trọng trong việc vận hành hầu hết các mạng nơ-ron.

Tiếp theo, với GeForce RTX 40-series "Ada Lovelace", một dự án khác đã chứng minh mức tăng tốc khổng lồ gấp 2 lần về thông lượng tensor FP16 và BF16 cùng với khả năng tích lũy FP32. Khi GeForce RTX 4090 được kiểm tra với thông lượng tensor FP16 và tích lũy ma trận, GPU đạt 165,6 TeraFLOPS, trong khi bản mở khóa đã đẩy con số đó lên 331,6 TeraFLOPS. Điều này rất thú vị vì những con số hiệu suất tính toán này thường chỉ dành cho các phân khúc chuyên nghiệp cao cấp hơn như NVIDIA RTX 6000 "Ada Lovelace". Có vẻ như NVIDIA đã giới hạn hiệu suất của silicon AD102 một cách nhân tạo trong các phép nhân và tích lũy ma trận nhạy cảm với tính toán, làm ảnh hưởng đến hiệu năng khi chạy các mô hình ngôn ngữ lớn. Đối với bản mở khóa này, các dòng chip AD102, AD103 và AD106 đã được mở khóa chính thức.

Hai bản mở khóa GPU riêng biệt này xuất hiện gần như đồng thời, với một bản được thể hiện cho GeForce RTX 30-series "Ampere" và bản kia cho GeForce RTX 40-series "Ada Lovelace". Cả hai bản mở khóa đều vượt qua các bài kiểm tra trình điều khiển của NVIDIA và ghi đè tính năng Khôi phục Mức Chức năng PCIe (FLR), chạy các trình điều khiển gốc của NVIDIA và các chuẩn benchmark CUDA được thực thi bình thường. Ví dụ, mức điện năng bo mạch TGP 450 W giống hệt nhau được sử dụng trước và sau khi mở khóa trên cả GA102 và AD102. Đối với những ai đang chạy các tác vụ nặng về tính toán như LLM cục bộ, công suất tính toán bổ sung mang lại thông lượng token cao hơn đáng kể trong giai đoạn prefill và decode, cho phép người dùng tận hưởng hiệu năng cao hơn. Tuy nhiên, điều quan trọng cần lưu ý là bất kỳ sửa đổi GPU nào cũng sẽ làm mất bảo hành và phải được bật lúc khởi động để các bản mod này liên kết trước khi trình điều khiển NVIDIA liên kết card với kernel.

Cập nhật lúc 09:20 UTC: Các dòng GeForce RTX 20-series "Turing" của NVIDIA cũng đang được mở khóa bằng kỹ thuật tương tự, giúp tăng gấp đôi hiệu năng.