Bản mod GPU Unlock giúp card RTX 30 series tăng gấp đôi hiệu năng AI

Các GPU dòng GeForce RTX 30 (mã nguồn Ampere) đã có tuổi đời của NVIDIA dường như vẫn còn một lượng lớn tiềm năng tính toán chưa được khai thác. Một dự án mã nguồn mở mới có tên GPU Unlock, do người dùng GitHub Zagitta phát triển, cho phép các GPU Ampere vượt qua một số hạn chế về hiệu suất nhân tạo, giúp gần như nhân đôi thông lượng tính toán Tensor Core trong các khối lượng công việc cụ thể mà không cần driver NVIDIA đã chỉnh sửa hoặc flash VBIOS vĩnh viễn.

Dự án này nhắm cụ thể vào giới hạn tỷ lệ phát hành lệnh ảnh hưởng đến các hoạt động Tensor Core FP16/BF16 với tích lũy FP32, vốn hoạt động ở tốc độ thấp hơn trên các dòng card đồ họa Ampere phổ thông so với các dòng card chuyên dụng của hãng. Bằng cách loại bỏ hạn chế này, công cụ này thực sự kích hoạt thêm hiệu suất tính toán mà các GPU vốn đã có khả năng đạt được.

Đáng chú ý, GPU Unlock được xây dựng dựa trên nghiên cứu trước đó liên quan đến các GPU chuyên khai thác tiền điện tử CMP của NVIDIA. Nó kết hợp các kỹ thuật mở khóa firmware của dự án CMP với phương pháp khởi tạo sớm, sử dụng một mô-đun nhân Linux chạy trước khi trình điều khiển GPU của NVIDIA tải lên. Mô-đun này sửa đổi các bộ chọn tốc độ phần cứng có liên quan, thực hiện Đặt lại cấp độ chức năng (FLR), và sau đó cho phép trình điều khiển chưa chỉnh sửa khởi tạo GPU một cách bình thường.

Điều này cũng có nghĩa là người dùng sẽ không phải vá trình điều khiển NVIDIA mỗi khi có phiên bản mới phát hành. Nhà phát triển hiện liệt kê hỗ trợ cho các GPU GA102, GA103, GA104 và GA106, bao gồm phần lớn dòng sản phẩm GeForce RTX 30 Series, mặc dù khả năng tương thích và cải thiện hiệu suất không được đảm bảo trên mọi card đồ họa.

Những cải thiện về hiệu suất có thể rất đáng kinh ngạc. Theo các điểm chuẩn được công bố trong kho lưu trữ GitHub của dự án, một chiếc RTX 3090 Ti hoạt động ở giới hạn công suất 450W đã mang lại kết quả ấn tượng trong các bài kiểm tra nhân ma trận dày đặc (GEMM) với tích lũy FP32.

Những kết quả này không chỉ độc quyền cho RTX 3090 Ti. Một chủ sở hữu RTX 3080 Ti báo cáo rằng thông lượng BF16 đã tăng từ 71.59 lên 113.98 TFLOPS, trong khi hiệu suất TF32 cải thiện từ 35.65 lên 65.28 TFLOPS, với GPU bị giới hạn ở mức 315W. Một báo cáo tương thích khác cho RTX 3080 10GB ghi nhận hiệu suất FP16/BF16 tăng từ khoảng 65 TFLOPS lên 110–113 TFLOPS dưới giới hạn công suất ban đầu là 320W của thẻ. Những cải thiện này cũng được nhấn mạnh trên X.

Nhưng còn hiệu suất ứng dụng thực tế thì sao? May mắn thay, các thành viên cộng đồng đã bắt đầu thử nghiệm việc mở khóa trong các khối lượng công việc AI thực tế, và những phát hiện ban đầu rất đáng khích lệ.

Một người dùng RTX 3090 Ti trên Reddit đã chạy điểm chuẩn GPU Unlock trong ComfyUI, báo cáo thông lượng cao hơn 58.6% với MOSS-Image SFT BF16, 57.2% với Qwen-Image 2.1 Turbo BF16, và 56.1% với Z-Image Turbo BF16. Trong khi đó, các cấu hình INT8 có mức cải thiện nhỏ hơn nhiều, với MOSS-Image SFT INT8 chỉ cải thiện 0.3%. Người thử nghiệm cũng báo cáo rằng đầu ra hình ảnh được giải mã là hoàn toàn giống nhau giữa cấu hình gốc và cấu hình đã mở khóa.

Suy luận Mô hình Ngôn ngữ Lớn (LLM) là một đối tượng hưởng lợi tiềm năng khác, mặc dù các cải thiện phụ thuộc đáng kể vào khối lượng công việc. Ví dụ, một báo cáo tương thích về RTX 3090 đã ghi nhận mức cải thiện 33% về thông lượng xử lý câu lệnh/suy luận của vLLM, trong khi việc tạo mã thông báo (token generation) gần như không thay đổi. Điều đó là dễ hiểu, khi xem xét rằng việc giải mã LLM thường xuyên bị giới hạn bởi băng thông bộ nhớ hơn là thông lượng tính toán Tensor Core thô.

Một phát triển bổ sung đáng chú ý là việc triển khai thử nghiệm trên Windows, sử dụng phương pháp dựa trên UEFI thay vì mô-đun nhân Linux ban đầu. Nhà phát triển của nó đã ghi nhận việc triển khai RTX 3090 thành công, với thông lượng tính toán BF16 tăng khoảng 82.5%. Tuy nhiên, đây vẫn là một giải pháp thử nghiệm dành riêng cho phần cứng chứ không phải là bản phát hành Windows tương thích chung.

Ngoài ra cũng có những giới hạn quan trọng. GPU Unlock không làm tăng băng thông bộ nhớ, không bật thêm nhân CUDA, hoặc tự động cải thiện mọi khối lượng công việc. Ít nhất một báo cáo tương thích về RTX 3080 Ti 20GB đã ghi nhận quy trình mở khóa thành công nhưng không mang lại cải thiện hiệu suất BF16 như kỳ vọng, cho thấy kết quả không phải lúc nào cũng giống nhau trên mọi thiết bị.

Đối với việc chơi game, các công nghệ DLSS của NVIDIA cũng sử dụng các nhân Tensor, nhưng hiện tại không có bằng chứng thuyết phục nào cho thấy GPU Unlock cải thiện hiệu suất chơi game hoặc thời gian thực thi DLSS. Các tập lệnh và chế độ tích lũy bị ảnh hưởng cần phải được sử dụng bởi khối lượng công việc thực tế thì mới mang lại lợi ích. Do đó, các điểm chuẩn tính toán ấn tượng không nên bị nhầm lẫn với việc tăng tương đương số khung hình (FPS) khi chơi game.

Dù vậy, GPU Unlock vẫn là một phát triển thú vị đối với các chủ sở hữu dòng GeForce RTX 30 Series, đặc biệt là những người sử dụng GPU của họ cho việc suy luận AI cục bộ, tạo hình ảnh và các ứng dụng đòi hỏi tính toán cao khác. Mặc dù dự án vẫn đang trong giai đoạn thử nghiệm, triển vọng khai thác thêm nhiều hiệu suất từ phần cứng hiện có mà không cần sửa đổi vĩnh viễn chắc chắn là vô cùng hấp dẫn.