Nghiên cứu mới chỉ ra các mô hình AI Trung Quốc được huấn luyện bằng chip Blackwell của Nvidia

Các biện pháp kiểm soát thương mại của Mỹ nhằm ngăn chặn việc xuất khẩu các dòng chip gia tốc AI cao cấp của Nvidia và AMD sang Trung Quốc gần đây đã trải qua nhiều diễn biến phức tạp. Bỏ qua các vấn đề của Jensen Huang, ai cũng biết trong ngành công nghệ rằng silicon Blackwell của Nvidia vẫn tìm được đường đến Trung Quốc, dù là về mặt vật lý hay ảo hóa. UnemploymentLabs, một tổ chức nghiên cứu độc lập, vừa đưa ra những bằng chứng mạnh mẽ cho thấy các con chip đó đã được sử dụng để huấn luyện các mô hình AI trọng số mở của Trung Quốc, bao gồm DeepSeek V4, Kimi K3.1, MiniMax-M3 và Ling-3.1-Flash.

Các nhà khoa học rất cẩn trọng khi đưa ra kết luận, lưu ý rằng dù toán học của họ hoàn toàn chính xác, nó không tiết lộ vị trí đặt chip, cách thức truy cập hay chứng minh các lệnh cấm xuất khẩu đã bị phá vỡ. Theo những gì chúng ta có thể thấy, hiện tại các công ty Trung Quốc không vi phạm pháp luật khi thuê phần cứng Blackwell ở nước ngoài, và ngay cả khi Nvidia đang siết chặt vòng kim cô, các công ty Mỹ cũng không bị cấm ngặt nghèo trong việc này, minh chứng qua thỏa thuận gần đây giữa Tencent và Oracle.

Phương pháp nhận diện này bị giới hạn ở các mô hình có trọng số mở, và phụ thuộc vào cả phần cứng lẫn các bộ công cụ phần mềm được sử dụng trong quá trình huấn luyện mô hình — dẫu vậy nó vừa thông minh lại vừa đơn giản.

Phương pháp phát hiện dấu vết phần cứng

Hãy thiết lập một vài sự thật cơ bản. Đầu tiên, các dòng chip gia tốc AI khác nhau có số lượng mô-đun shader (SM) độc lập, có nét tương đồng nhỏ với nhân CPU — các chip Hopper của Nvidia có 132 SM, dòng Blackwell B có 148 và các dòng Blackwell GB có tới 152. Thứ hai, dù có nhiều hơn một bộ công cụ phần mềm để huấn luyện các mô hình AI, PyTorch và các công cụ hỗ trợ CUDA của đội xanh lá vẫn được sử dụng rộng rãi nhất trên phần cứng của họ.

Bước đầu tiên để huấn luyện một mô hình là khởi tạo trọng số của nó, tức là mức độ mà mô hình xem xét từng đầu vào riêng lẻ. Trong các kiến trúc LLM hiện đại, quá trình khởi tạo này trải qua một bước ngẫu nhiên hóa trong đó các giá trị của chúng được điều chỉnh theo hướng cộng/trừ giả ngẫu nhiên, sử dụng cuRAND — hiểu một cách đơn giản là ngẫu nhiên, nhưng một giá trị khởi tạo ban đầu (seed) sẽ mang lại các con số điều chỉnh giống hệt nhau mỗi lần chạy.

Như bạn có thể đoán, việc này cho toàn bộ mô hình đòi hỏi rất nhiều công việc tính toán, vì vậy quá trình này được phân bổ ra tất cả các SM, và được chia nhỏ hơn nữa thành các luồng (thread). Đối với các tập trọng số lớn, số lượng luồng trên mỗi SM là 2.048 đối với silicon Blackwell và Hopper, và con số này chắc chắn được lựa chọn kỹ lưỡng cũng như tối ưu hóa.

Kết quả và phân tích

Các nhà nghiên cứu đã lặp lại một bản sao của quá trình khởi tạo sử dụng chính xác các con chip, phần mềm và số lượng luồng đó. Bằng cách sử dụng phân tích thống kê tương đối đơn giản, họ nhận ra rằng phân phối thống kê cuối cùng của các giá trị trọng số trùng khớp hoàn toàn với của DeepSeek, Kimi và các bên khác. Để kiểm chứng, họ đã thay đổi số lượng SM và luồng, và đúng như dự đoán, sự tương quan đã biến mất hoàn toàn.

Điều này cho phép họ chọn ra từng họ chip Blackwell/Hopper được sử dụng cho mỗi mô hình, và cuối cùng họ cũng tính toán được số lượng thẻ được sử dụng. Tuy nhiên, họ không thể xác định chính xác biến thể nào đã tạo ra các trọng số, vì phân tích này chỉ liên quan đến số lượng bố cục khởi tạo, do đó chỉ dựa trên số lượng SM và mô hình sử dụng — chứ không dựa trên dung lượng VRAM, băng thông bộ nhớ hoặc các đặc điểm khác giúp phân biệt các thẻ riêng lẻ.

Còn về các thẻ của AMD như MI300X, hay các loại silicon khác có đủ số lượng SM cao và sử dụng cùng bộ công cụ phần mềm thì sao? Các nhà khoa học cho biết không phải là không thể để một thẻ AMD được thiết lập hiển thị thành hai nhóm gồm 152 hoặc 148 shader, mặc dù chúng ta có thể hình dung là có rất ít lý do để làm như vậy. Tuy nhiên, đối với DeepSeek V4, họ cũng loại trừ khả năng đó bằng cách phân tích các giá trị trọng số thực tế của mô hình, và nhận thấy các thẻ AMD vẫn không tạo ra cùng một mẫu giá trị trọng số.