RTX 3090 tăng tốc độ tạo token LLM lên tới 4,6 lần nhờ tối ưu hóa suy luận

RTX 3090 tăng tốc độ tạo token LLM lên tới 4,6 lần nhờ tối ưu hóa suy luận

Băng thông bộ nhớ 936,2 GB/s giúp RTX 3090 của NVIDIA tỏ ra khá ικανοποιητικό trong việc xử lý prompt và tốc độ tạo token, nếu không tính đến việc dung lượng VRAM 24 GB tạo ra một số hạn chế nhất định. Một lập trình viên khi chạy Qwen3.8-27B trên GPU này từng đạt 82 tok/s, nhưng nhờ phát hành và sử dụng một công cụ suy luận tùy chỉnh, tốc độ đó đã tăng lên 382 tok/s, mang lại mức tăng gần 5 lần về khả năng tạo token nhờ các cải tiến tối ưu.

Tốc độ tạo token tăng lên nhiều lần khi Qwen3.8-27B lặp lại văn bản mà nó đã có.

Để hiểu lý do tại sao việc tạo văn bản AI lại chậm, điều quan trọng là phải tìm hiểu cách hoạt động của các LLM này. Một mô hình viết từng token một và mỗi token phụ thuộc vào token đứng trước nó. Đối với mỗi token, RTX 3090 phải lấy tập hợp kiến thức lưu trữ khổng lồ của mô hình, được gọi là trọng số (weights), ra khỏi bộ nhớ. Việc truy xuất đó, chứ không phải phép tính thực tế, mới là nút thắt cổ chai, khiến sức mạnh xử lý của card đồ họa dành phần lớn thời gian ở trạng thái rảnh rỗi.

Nhận ra nút thắt cổ chai này, thành viên Reddit “u/iamMess” đã xử lý bằng phương pháp giải mã dự đoán (speculative decoding). Một “bên phác thảo” (drafter) nhanh sẽ đoán trước một số token sắp tới và mô hình chính kiểm tra tất cả chúng trong một lần duy nhất, giữ lại các token chính xác và loại bỏ phần còn lại. Nói ngắn gọn, thay vì kiểm tra một từ duy nhất, toàn bộ câu được kiểm tra. Ngoài ra, vì mô hình chính luôn có quyết định cuối cùng, kết quả đầu ra giống hệt với những gì nó đã viết và lập trình viên báo cáo rằng độ chính xác trên một benchmark toán học vẫn duy trì ổn định ở mức 96,5%.

Tốc độ tạo token cuối cùng đã leo thang theo từng giai đoạn. Việc tinh chỉnh tính năng dự đoán đa token (MTP) tích hợp sẵn của Qwen3.8-27B, cho phép nó tự đoán vài token tiếp theo của chính mình, đã nâng tốc độ đơn người dùng lên khoảng 114 tok/s. Lập trình viên sau đó đã thêm phương pháp phác thảo thứ hai có tên “DFlash2”, đề xuất bảy token một lúc, cùng với bộ phác thảo “tra cứu” (lookup) quét văn bản đã có trong cuộc trò chuyện để tìm kết quả khớp với những gì vừa được viết và đoán rằng các từ tương tự sẽ xuất hiện tiếp theo.

Bộ phác thảo “tra cứu” đã giúp đưa tốc độ tạo token lên 138 tok/s. Lập trình viên từng giả định rằng bước kiểm tra phải có kích thước bằng phỏng đoán 7 token của DFlash2, nhưng thực tế không phải vậy. Bộ phác thảo tra cứu có thể điền vào các ô trống bổ sung miễn phí, vì vậy công cụ hiện kiểm tra 16 token mỗi bước. Khi Qwen3.8-27B trích dẫn một tài liệu, khoảng 15 trong số 16 phỏng đoán đó được chấp nhận, điều này đẩy tốc độ trên tác vụ tài liệu 25.000 token từ 260 lên 382 token mỗi giây. Trong một cuộc trò chuyện thông thường, thay đổi tương tự mang lại khoảng 133 tok/s.

Ngoài ra, lập trình viên đã sử dụng cách tiếp cận này để thúc đẩy Cửa sổ Ngữ cảnh (Context Window) lên tới 138.696 token bằng cách lưu trữ bộ nhớ làm việc của mô hình ở định dạng gọn gàng hơn. Rõ ràng, tất cả những điều này không phải là một thủ thuật đơn giản và đi kèm một vài nhược điểm. Bước kiểm tra dài hơn làm cạn kiệt một nửa các ô yêu cầu và 8.000 token ngữ cảnh, vì vậy nó là tùy chọn. Đối với định dạng bộ nhớ gọn gàng, nó làm tăng gấp đôi thời gian cần thiết để đọc tài liệu ở phần đầu, do đó nó phù hợp với các trường hợp bạn tải tài liệu một lần và đặt nhiều câu hỏi.

Ngoài các tác vụ lặp lại văn bản, chế độ này chạy ở khoảng một nửa tốc độ của MTP thông thường. Đối với trò chuyện hàng ngày, bạn có thể mong đợi khoảng 133 tok/s, đây vẫn là một cải tiến vững chắc so với mức 82 tok/s đạt được trước đó. Tuy nhiên, vì chúng tôi chưa xác minh độc lập thông tin này, tốt nhất bạn nên đón nhận với một chút thận trọng.