Biến GPU đào coin 2.500 USD thành card AI 20.000 USD nhờ hack phần cứng

Những kỹ sư công nghệ mong muốn tự xây dựng một cụm máy chủ AI cục bộ giờ đây có nhiều lựa chọn thú vị hơn hẳn so với việc mua DGX Sparks hay Apple Mac Studios. GPU trung tâm dữ liệu cũ xuất hiện ở khắp mọi nơi và rác của giá máy chủ này lại chính là kho báu đối với những người mê mày mò. Lựa chọn này ngày càng trở nên phổ biến hơn với CMPunlocker, một bản mod phần mềm dành cho các dòng card Nvidia CMP-170HX giúp mở khóa nhiều tính năng vượt xa mức mặc định. Giờ đây, một kỹ sư đã tiến thêm một bước dài, phá vỡ hoàn toàn các giới hạn còn lại bằng kỹ thuật gây nhiễu điện áp (voltage glitching) để tạo ra một chiếc card còn nhanh hơn cả GPU Nvidia A100 80GB VRAM có giá thực tế lên tới 20.000 USD... nhưng lại được độ lại từ một chiếc card đào coin CMP-170HX 8GB chỉ có giá 2.500 USD.

Việc độ điện áp này được thực hiện bởi Kate, người đã lấy điểm khởi đầu từ một bài nghiên cứu mô tả cách khai thác vi mã của các dòng card GA100. Cô chuyển hướng chú ý sang bộ điều khiển cầu chì trên bo mạch vốn thường được bảo vệ kỹ lưỡng. Mặc dù hiếm khi được thảo luận, một hộp cầu chì là bộ phận không thể thiếu trong hầu hết mọi CPU và GPU từ trước đến nay — dù nó thường chỉ được sử dụng một lần tại nhà máy để ngắt các kết nối vật lý đến những phần chip kiểm tra không đạt chuẩn, từ đó vô hiệu hóa chúng để bán dưới dạng model thấp hơn.

Nếu bạn đang thắc mắc làm thế nào mọi người có thể khai thác được 80-40GB VRAM từ một cỗ máy chỉ có 8-10GB, câu trả lời rất đơn giản: bản thân silicon GA100 thực chất đã bao gồm toàn bộ các die VRAM HBM2e tương ứng bên trong, nhưng chúng đã bị vô hiệu hóa tại nhà máy giống như các mô-đun shader. Phiên bản nhỏ hơn có sức hút lớn hơn vì nó dựa trên biến thể GA100 có sẵn 80GB HBM2e bên trong, trong khi các dòng card 10GB lại xuất phát từ GA100 bản 40GB.

Các dòng card Nvidia nói trên sở hữu bộ điều khiển eFuse khá phức tạp (16.384 trong mảng 512 x 32) — có thể đọc để lấy cấu hình hiện tại của card. Hầu như mọi bộ phận của card đều có các cầu chì liên quan: các phân vùng VRAM, từng mô-đun shader riêng lẻ, PCIe 4.0 và NVLink, thậm chí cả phần cứng mã hóa video. Tuy nhiên, như Kate đã đúc kết gọn gàng rằng thiết kế của Nvidia không có tính bảo mật cao, vì việc làm đứt cầu chì thực chất lại có thể cấp quyền truy cập vào nhiều tính năng hơn chứ không phải ít đi.

Trong điều kiện bình thường, những chiếc cầu chì này không thể bị làm đứt hoặc ghi đè bởi người dùng bình thường — nhưng một tay mày mò vũ trang bằng mỏ hàn thì không phải là người dùng bình thường. Kate đã nhờ GPT-6 Astra thiết kế một bảng mạch đơn giản dựa trên vi điều khiển STM32G4 trị giá 8 USD để can thiệp vào các tín hiệu nguồn trên bo mạch của card.

Các bộ ổn áp điện áp (VRMs) trên card sử dụng chuẩn PWMVID của Nvidia và bảng mạch của Kate đã chặn các tín hiệu PWM gửi vào bộ điều khiển VRM, ép nó tạo ra các hiện tượng nhiễu điện áp trên đường cấp nguồn cho GPU, nơi đặt bộ điều khiển cầu chì.

Bạn có nhớ chúng ta từng nói bộ điều khiển cầu chì là loại chỉ đọc hay không? Bằng cách sử dụng các cú sốc điện áp kết hợp với việc liên tục đọc trạng thái cầu chì trong một vòng lặp chặt chẽ, cô đã thành công đưa bộ điều khiển vào trạng thái cho phép các bit cờ bảo mật mở quyền ghi dữ liệu. Kể từ thời điểm đó, việc cấu hình lại chiếc card đã trở nên dễ dàng hơn. Cô cũng cẩn thận vô hiệu hóa cưỡng bức bất kỳ mô-đun shader nào trước đó từng bị đánh dấu là lỗi, bởi vì đây là các cầu chì vật lý và hoàn toàn không có nút hoàn tác.

Cô áp dụng bản mod này lên các card của mình và sau khi thử nghiệm với nhiều tác vụ khác nhau, cô nhận thấy có tới 9 chiếc hoạt động hoàn hảo với toàn bộ 80GB VRAM, và chỉ có một chiếc card bị giới hạn ở mức 64GB khả dụng. Điều thú vị nhất là việc mở khóa toàn bộ các mô-đun shader (SM) giúp cô đạt được hiệu năng tính toán FP16 FMA vượt trội hơn 20% so với một chiếc card A100 thông thường. Cô cho rằng điều này là do các con chip thường có sẵn 120 SM khả dụng trở lên — vượt qua con số 108 được ghi trên bảng thông số kỹ thuật. Die GA100 bắt đầu với 128 SM để dự phòng cho các khiếm khuyết, vốn là điều bình thường trong ngành sản xuất chất bán dẫn.

Bản mod phần mềm CMPUnlocker là cần thiết để kích hoạt các tính năng mới trên trình điều khiển, nhưng nó không giải phóng hoàn toàn tiềm năng của card: giới hạn tối đa của VRAM chỉ ở mức 40-64GB tùy biến thể, nhiều mô-đun shader vẫn tiếp tục bị khóa và băng thông PCIe chỉ dừng lại ở mức 2.0. Thêm vào đó, hệ thống cũng không hỗ trợ ECC, NVLink hay tính năng GPU đa phiên bản, vốn là những yếu tố cốt lõi trong một hệ thống máy chủ và cũng được dùng để phân chia phân khúc sản phẩm.

Bản độ điện áp của Kate đã phá vỡ toàn bộ các giới hạn này và chiếc card thử nghiệm tốt nhất của cô hiện đang hoạt động mượt mà ở tốc độ PCIe 4.0 cùng đầy đủ bộ tính năng. Cô không thử nghiệm phần mã hóa video nhưng có lẽ chẳng ai sử dụng dòng card này lại quan tâm đến điều đó.

Về mặt chi phí, một chiếc CMP-170HX 8GB hiện đang có giá dao động khoảng 3.000 USD và phiên bản 10GB có giá khoảng 2.500 USD. Trong khi đó, một chiếc Nvidia A100 80GB chuẩn cắm PCIe hoàn chỉnh có thể lên tới 20.000 USD hoặc cao hơn thế nữa. Các phiên bản mô-đun máy chủ SXM có giá rẻ hơn nhưng lại đòi hỏi hệ thống hạ tầng phức tạp đi kèm. Cần lưu ý rằng mức giá này có thể biến động mạnh, đặc biệt khi ngày càng có nhiều người biết đến các bản mod này.

Kate cho biết cô công bố nghiên cứu của mình ngay lúc này vì đã có một người khác vô tình phát hiện ra vấn đề tương tự một cách độc lập. Cô cũng đã thông báo cho Nvidia về lỗ hổng bảo mật nói trên, mặc dù hãng khó lòng làm gì được đối với những chiếc card đã xuất hiện rộng rãi trên thị trường hiện nay.