Công cụ mở khóa mới giúp GPU RTX 30 và RTX 40 tăng tốc AI LLM mạnh mẽ, kéo giá bán cũ tăng vọt

Một công cụ mở khóa GPU mới đã giải phóng toàn bộ tiềm năng của dòng GPU RTX 30 & RTX 40 của NVIDIA, đạt hiệu suất AI LLM và năng lực tính toán nhanh hơn.

Công cụ mở khóa "GPU-Unlock" của Zagitta mang lại sức sống mới cho GPU NVIDIA RTX 30/40 trong AI LLM, khi khả năng tính toán được mở khóa về mức gốc

Trở lại thời kỳ khai thác tiền điện tử, NVIDIA từng giới hạn hiệu năng tính toán của các GPU GeForce RTX 30 thông qua firmware BIOS và các bản vá khi hãng tung ra dòng chip CMP chuyên dụng cho việc đào coin. Các thẻ CMP cũng đã nhận được một công cụ mở khóa đặc biệt giúp phơi bày toàn bộ khả năng bộ nhớ của chúng, nhảy vọt từ 8-10 GB lên 64-80 GB.

Trong khi các modder quản lý để mở khóa tỷ lệ đào coin, các hạn chế về tính toán vẫn còn đó. Nhưng điều đó đã thay đổi thông qua một dự án mã nguồn mở trên GitHub có tên là "Zagita", đang mở khóa toàn bộ tỷ lệ BF16/FP16 có trên các GPU Ampere. Công cụ này rất dễ sử dụng và không yêu cầu bất kỳ bản flash vBIOS hay mod phần cứng nào.

Việc chạy công cụ này rất đơn giản và nó mở khóa gấp đôi khả năng tính toán của FP/BF16 FMA dòng RTX 30 của NVIDIA trên tất cả các GPU GA102, GA103, GA104 và GA106.

Mở khóa tỷ lệ phát hành lệnh FP/BF16 trên các thẻ Nvidia dòng 3000 tương đương với các dòng chuyên nghiệp của chúng

Module nhân Linux này kết hợp kỹ thuật V67/PLM của trình mở khóa CMP với thời gian trước trình điều khiển của phương pháp UEFI. Nó chạy mở khóa, ghi các bộ chọn tốc độ (SS0 0x88888888, chọn tốc độ BF16 đầy đủ và 4-bit SS1 0x8 IMLA4) và thực hiện FLR trước khi trình điều khiển NVIDIA chưa sửa đổi liên kết thẻ. Đây không phải là một ứng dụng UEFI hay một trình điều khiển NVIDIA được vá.

Lợi ích của trình điều khiển kmod sớm này là nó không yêu cầu vá thủ công mỗi khi nvidia phát hành phiên bản trình điều khiển mới.

Hiệu ứng của việc mở khóa này là nó làm tăng gấp đôi tốc độ phát hành lệnh của FP/BF16 FMA thành các hoạt động FP32 trên các thẻ GA102, GA103, GA104 và GA106.

Nhiều người dùng đang chạy công cụ này ngay bây giờ và thấy mức tăng lên tới 80% trên các GPU dòng RTX 30. Ví dụ, RTX 3090 Ti có khả năng BF16 được tăng từ 87.5 TFLOPs lên 157 TFLOPs và TF32 chuyển từ 42.6 TFLOPs lên 82.6 TFLOPs. Tương tự, RTX 3080 10 GB chuyển từ 65 TFLOPs FP16 lên 113 TFLOPs ở mức công suất tiêu chuẩn 320W.

GEMM dày 8192³ 3090 Ti ở 450 W, trung vị năm mẫu với tích lũy FP32:

Trong AI LLM, một GPU RTX 30 được mở khóa có thể cung cấp đầu ra Prefill (ngữ cảnh dài) nhanh hơn 33-36%, trong khi độ trễ trong TTFT (Thời gian đến token đầu tiên) giảm 25%. Hiệu suất giải mã không bị ảnh hưởng và hiệu suất nhân ma trận vẫn giữ nguyên.

Hiện tại, tính năng mở khóa chỉ khả dụng trên nền tảng Linux; Windows chưa được hỗ trợ. Dòng GPU RTX 30 thấy lợi ích lớn nhất, nhưng tính năng mở khóa cũng mở rộng sang các thẻ dòng GTX 9, GTX 10 và RTX 20 cũ hơn.

Ngay cả GPU RTX 40 cũng thấy sự gia tăng với các tính năng mở khóa mới này.

Những người dùng khác cũng đang tinh chỉnh các mô hình trên các thẻ GPU RTX 30 cũ hơn như RTX 3090 24 GB. Một người dùng được cho là đã đạt được thông lượng 381 token mỗi giây trên Qwen3.8-27B.

Mô hình AI chạy ở hiệu suất cơ sở là 82 TPS và cải thiện lên tốc độ 4.6 lần thông qua MTP được tối ưu hóa, DFlash2 với tra cứu ngữ cảnh và xác minh tra cứu được tối ưu hóa. Chúng tôi đã báo cáo câu chuyện này trong tuần này và khi các mô hình tiếp tục được tối ưu hóa trên các thẻ cũ hơn, giá của chúng cũng đang chứng kiến sự gia tăng.

Ví dụ, NVIDIA GeForce RTX 3090 24 GB trước đây được bán với giá khoảng 1000 USD, nhưng kể từ những báo cáo này, giá đã vượt qua 2000 USD.

RTX 3090 Ti đang nhanh chóng tiếp cận mốc 3000 USD và các mẫu RTX 3080 10-12 GB đang đạt 900-1100 USD trên eBay. Các bản tối ưu hóa đang mang lại cho các card đồ họa Ampere một cuộc sống mới bên ngoài chơi game, nhưng điều đó cũng có nghĩa là những game thủ có kế hoạch mua một thẻ RTX 30 đã qua sử dụng sẽ phải đối mặt với giá tăng vọt do AI.

Công cụ mở khóa này đang thổi luồng sinh khí mới vào các thẻ RTX 30 kỷ nguyên Ampere cho khối lượng công việc LLM, mang lại những lợi ích tính toán đáng kể giúp chúng khả thi hơn nhiều cho việc suy luận và tinh chỉnh mà không cần bất kỳ bản mod phần cứng nào. Mặc dù việc nâng cao hiệu suất là một chiến thắng rõ ràng cho những người đam mê AI, nhưng nhu cầu kết quả đang đẩy giá thị trường đã qua sử dụng lên cao hơn đáng kể, biến các card đồ họa từng có giá cả phải chăng thành các bộ tăng tốc AI được săn đón và khiến chúng kém dễ tiếp cận hơn đối với các game thủ thuần túy.