Mở khóa sức mạnh phần cứng NVIDIA GeForce RTX 3090 Ti tăng tới 80% hiệu năng tính toán trên Linux

Công cụ mới được cho là giúp hiệu năng tính toán BF16 của RTX 3090 Ti tăng vọt từ 87.5 FLOPS lên 157 TFLOPS, đồng thời cải thiện tốc độ suy luận vLLM lên tới 36%.

Dự án mã nguồn mở "GPU Unlock" bỏ qua các giới hạn cấp phần mềm của NVIDIA trên GPU GeForce

Một thủ thuật mới vừa được khám phá để vượt qua các giới hạn cấp phần mềm của NVIDIA trên các dòng card đồ họa GeForce phổ thông. Điều này đạt được nhờ một dự án mã nguồn mở mới mang tên "GPU Unlock", cho phép các GPU tiếp cận hiệu năng tính toán dấu phẩy động độ chính xác nửa (half-precision) cao hơn, vốn thường chỉ được dành riêng cho các GPU máy trạm chuyên nghiệp.

Theo nhà phát triển của dự án là "zagitta", NVIDIA hạn chế một số khả năng tính toán và tính năng GPU ảo (vGPU) trên GPU GeForce phổ thông, mặc dù chúng chia sẻ cùng kiến trúc GPU với các dòng card máy trạm chuyên nghiệp. NVIDIA giới hạn các khả năng này đối với các dòng card Quadro, Tesla và RTX A-series đắt tiền hơn. Tuy nhiên, dự án mới này lại có cách tiếp cận khác biệt so với trình điều khiển truyền thống.

"GPU Unlock" tiến hành vá động module trình điều khiển NVIDIA trong nhân Linux và chặn các yêu cầu về Mã thiết bị PCIe vật lý của GPU trước khi thay thế định danh trả về bằng định danh của một GPU chuyên nghiệp tương thích. Về cơ bản, cách này đánh lừa trình điều khiển để nó nhận diện GPU GeForce phổ thông thành một chiếc card chuyên nghiệp của NVIDIA, qua đó vượt qua các giới hạn và mở khóa thêm các khả năng tính toán.

Theo tuyên bố của nhà phát triển, những cải thiện về hiệu năng là rất đáng kể. Trên GeForce RTX 3090 Ti, một GPU kiến trúc Ampere, hiệu năng tính toán BF16 tăng từ 87.5 TFLOPS lên mức khổng lồ 157 TFLOPS, đánh dấu mức cải thiện đáng kinh ngạc tới 80%. Hiệu năng TF32 cũng gần như tăng gấp đôi, từ 42.6 TFLOPS lên 82.6 TFLOPS. GeForce RTX 3080 được cho là cũng hưởng lợi từ điều này, với hiệu năng FP16/BF16 tăng từ 65 TFLOPS lên 110-113 TFLOPS, trong khi vẫn giữ nguyên giới hạn công suất 320W mặc định.

Những lợi ích này cũng xuất hiện trên công cụ suy luận vLLM, nơi công cụ mở khóa thêm 33-36% hiệu năng đối với tốc độ xử lý Prefill ngữ cảnh dài và giảm 25% độ trễ Thời gian cho Token đầu tiên (Time-To-First-Token). Tuy nhiên, hiệu năng Decode hầu như giữ nguyên vì kỹ thuật này không giải quyết được các giới hạn về băng thông bộ nhớ.

Dù vậy, GPU Unlock hiện chỉ hỗ trợ Linux và hoạt động với các GPU GeForce dòng GTX 900, GTX 1000, RTX 20 và RTX 30, trong khi các dòng card RTX 40 và RTX 50 chưa được hỗ trợ.