Phó chủ tịch Microsoft ra mắt công cụ mã nguồn mở giúp quản lý VRAM chi tiết

GPU Taskman cung cấp khả năng theo dõi VRAM chi tiết theo từng tiến trình

Bạn đã bao giờ tự hỏi toàn bộ VRAM trên card đồ họa của mình đang đi về đâu chưa? Scott Hanselman, Phó chủ tịch kiêm Thành viên Nhóm kỹ thuật tại Microsoft/GitHub, đã phát triển một tiện ích mã nguồn mở mang tên GPU Taskman (gputaskman) nhằm giải đáp câu hỏi đó với độ chi tiết cao hơn rất nhiều so với các công cụ theo dõi thông thường.

Trong một bài đăng trên X vào ngày 3 tháng 11, Hanselman giải thích rằng ông muốn có cái nhìn rõ ràng hơn về những gì đang ngốn bộ nhớ GPU của mình, đồng thời kêu gọi các nhà phát triển khác cùng đóng góp vào dự án.

Không giống như Task Manager tiêu chuẩn trên Windows vốn đã cung cấp thống kê bộ nhớ GPU theo từng tiến trình, GPU Taskman gom tụ dung lượng tiêu thụ VRAM, bộ nhớ hệ thống mà GPU truy cập được, hoạt động của từng tiến trình và cả thông telemetry phần cứng vào chung một giao diện dòng lệnh duy nhất.

Tiện ích này hiển thị các thông tin như mức sử dụng GPU, lượng VRAM đang dùng, nhiệt độ, mức tiêu thụ điện năng, tốc độ xung nhịp, hoạt động của bộ nhớ và các thông số PCIe, bên cạnh việc liệt kê chi tiết từng tiến trình đang ngốn tài nguyên GPU.

Nó cũng có thể phân biệt giữa các tác vụ khác nhau, bao gồm tổng hợp giao diện màn hình, trình duyệt web, trò chơi và các ứng dụng AI. Điều này tỏ ra đặc biệt hữu ích khi cần khắc phục sự cố tiêu thụ VRAM quá mức hoặc xác định lý do tại sao GPU phải phụ thuộc quá nhiều vào bộ nhớ hệ thống.

GPU Taskman cũng có thể nhận diện các mô hình AI và nhu cầu bộ nhớ của chúng

Có lẽ tính năng thú vị nhất là hỗ trợ cho các tác vụ AI chạy cục bộ. Theo tài liệu trên GitHub của dự án, GPU Taskman có thể nhận diện các mô hình AI được hỗ trợ và cung cấp thêm thông tin về kiến trúc, mức lượng tử hóa, số lượng tham số, trọng số mô hình và ước tính nhu cầu KV-cache của chúng.

Tiện ích này hiện nhận diện một số runtime và ứng dụng AI, bao gồm llama.cpp, Ollama và LM Studio, mặc dù mức độ chi tiết sẽ thay đổi tùy thuộc vào runtime và thông tin sẵn có.

Ví dụ, thay vì chỉ đơn giản báo cáo rằng một ứng dụng AI chiếm vài gigabyte VRAM, GPU Taskman có thể giúp phân biệt bộ nhớ cấp phát cho trọng số mô hình với phần liên quan đến KV cache và bộ đệm tính toán.

Nó đạt được điều này bằng cách kết hợp các bộ đếm GPU của hệ điều hành với thông tin từ siêu dữ liệu tiến trình, tệp mô hình, nhật ký runtime và các API cục bộ. Quan trọng là một số giá trị đặc thù của mô hình chỉ là ước tính chứ không phải là mức phânallocate GPU được đo đạc trực tiếp.

Ngoài AI, GPU Taskman cũng rất hữu ích cho các game thủ PC đang muốn tìm hiểu các vấn đề hiệu suất liên quan đến bộ nhớ. Áp lực VRAM quá mức có thể góp phần gây ra hiện tượng giật hình khi các ứng dụng ngày càng phụ thuộc nhiều hơn vào bộ nhớ hệ thống chậm hơn.

Tuy nhiên, Hanselman lưu ý rằng việc sử dụng RAM hệ thống mà GPU truy cập được không nhất thiết có kết luận là tràn VRAM, và tiện ích này cũng không thể nhận diện từng kết cấu đồ họa (texture) của game hay xác định chính xác tài nguyên nào đã bị đẩy ra ngoài.

Hỗ trợ cho Windows, Linux và macOS

GPU Taskman hỗ trợ GPU NVIDIA và AMD trên Windows 10/11, cùng với Linux, WSL và các hệ thống macOS dùng Apple Silicon, với các tính năng thay đổi tùy theo nền tảng và phần cứng.

Quá trình phát triển đang diễn ra rất nhanh chóng. Bản phát hành v0.3.5 gần đây nhất, được công bố vào ngày 10 tháng 11, đã giới thiệu hỗ trợ GPU Intel trên Linux, tính năng theo dõi CPU và RAM hệ thống, cùng các tùy chọn bổ sung để ghi lại số liệu thống kê GPU.

Tiện ích này được phân phối theo giấy phép MIT và có thể tải xuống thông qua trang GitHub Releases. Các bản build dạng portable dành cho Windows có sẵn mà không cần phải cài đặt riêng Python, ngoài ra người dùng cũng có thể cài đặt ứng dụng thông qua PyPI.

GPU Taskman vẫn là phần mềm thử nghiệm và một số tính năng theo dõi đòi hỏi phải được xác thực thêm trên các cấu hình phần cứng khác nhau. Dẫu vậy, nó đã tỏ ra là một sự bổ sung hữu ích vào bộ công cụ của những người đam mê công nghệ, các lập trình viên và bất kỳ ai muốn hiểu rõ chính xác tài nguyên GPU của mình đang được sử dụng ra sao.