Tóm điểm công nghệ tuần qua: Jensen Huang từ chức, Mac Studio đối đầu DGX Spark và AMD giải quyết bài toán thiếu DRAM

Tuần này, ngành công nghiệp phần cứng đón nhận nhiều biến động lớn, với điểm nhấn là việc nhà sáng lập Nvidia, Jensen Huang, chính thức rời khỏi vị trí CEO. Hệ lụy từ sự kiện này vô cùng rộng lớn khi công ty đã chuyển đổi từ một nhà sản xuất GPU chơi game sang một gã khổng lồ AI trong suốt 5 năm qua.

Cuộc đối đầu giữa Mac Studio và DGX Spark

Không chỉ có các nhà cung cấp dịch vụ đám mây lớn mới quan tâm đến AI, phân khúc PC dành cho việc chạy mô hình AI cục bộ đang ngày càng phổ biến trong cộng đồng người dùng đam mê công nghệ. Với nhiều lựa chọn trên thị trường như RTX Spark hay nền tảng Strix Halo của AMD, chúng tôi đã đưa hai đối thủ không tưởng lên bàn cân: Nvidia DGX Spark và Apple Mac Studio. Chúng tôi đã chạy hàng loạt bài kiểm tra hiệu năng thực tế lẫn tổng hợp trên cả hai thiết bị để giúp người dùng đưa ra lựa chọn chính xác nhất cho khối lượng công việc của mình.

AMD MEXT cắt giảm một nửa nhu cầu DRAM

Những hạn chế về dung lượng DRAM là nút thắt trên toàn ngành khi quá trình xây dựng hạ tầng AI đẩy nhu cầu linh kiện tăng cao. Khi chi phí cho cả phần cứng máy trạm lẫn doanh nghiệp leo thang, AMD đã chia sẻ chi tiết hơn về MEXT, một động cơ bộ nhớ dự đoán nhằm cung cấp 99% hiệu năng máy chủ trong khi chỉ sử dụng một nửa lượng DRAM. Được vận hành bởi một mô hình transformer kết hợp với bộ nhớ flash, AMD hiện đang chạy thử nghiệm hệ thống này trên 145 máy chủ và dự kiến mở rộng lên 2.000 máy vào năm tới.

Công cụ thiết kế chip bằng AI của Cognichip

Chúng tôi đã có buổi phỏng vấn sâu với Giám đốc Sản phẩm của Cognichip để tìm hiểu cách hãng triển khai các công cụ thiết kế chip tích hợp AI. Trở lại vào tháng 9, công ty đã công bố bộ mô hình AI độc quyền mang tên Artificial Chip Intelligence (ACI) được phát triển riêng cho ngành kỹ thuật bán dẫn. Dù các công cụ này chưa được áp dụng vào sản phẩm thương mại ngay lập tức, chúng có thể cải thiện đáng kể năng suất phát triển chip bằng cách tự động hóa các tác vụ tốn nhiều nhân công.

Vụ bê bối của Jensen Huang và lệnh siết chặt GPU tại Trung Quốc

Scandal của Jensen Huang càng trở nên trầm trọng hơn khi cựu CEO Nvidia vướng vào cáo buộc ngoại tình và đã từ chức. Trong khi các câu chuyện tuần qua tập trung vào mối quan hệ với Alice Huang, chúng tôi cũng khám phá mối liên hệ giữa cựu CEO này với Kang Wei - chồng của cô Alice, người vừa vướng vào rắc rối với Ủy ban Điều tiết Chứng khoán Trung Quốc trong một đường dây buôn lậu GPU AI trị giá 7,5 tỷ USD.

Các thiết bị tính toán dựa trên kiến trúc Nvidia vẫn rất khó tìm tại Trung Quốc, đặc biệt khi các phòng lab AI xếp hàng đặt mua các dòng card mới như RTX 5500 Pro với hơn 6 triệu đơn hàng bị rò rỉ cho bộ tăng tốc AI dựa trên GB202. Để lệnh kiểm soát xuất khẩu, một số công ty đã chuyển sang thuê hạ tầng tính toán tại các quốc gia Đông Nam Á như Malaysia và Singapore, bất chấp việc giá thuê cụm máy chủ B300 trên thị trường chợ đen đã tăng vọt lên 2,8 triệu USD.

Google bổ sung chip TPU thế hệ thứ 8

Google tiếp tục là một trong những đối thủ lớn nhất của Nvidia trong lĩnh vực AI. Dòng TPU thế hệ thứ 8 của hãng nay đã được mở rộng với hai con chip mới thiết kế cho AI tác nhân ngữ cảnh dài và bảo mật. Trong khi TPU 8i Max nhân đôi thông số của bản gốc, TPU 8tx mang lại thay đổi thú vị khi kết hợp với vi xử lý EPYC của AMD để phục vụ các tác vụ bảo mật chuyên biệt.

Khung đánh giá Jailbreak mới cho AI

Cuối cùng, một khung tiêu chuẩn mới được đề xuất nhằm theo dõi mức độ dễ dàng khi một mô hình AI vượt qua các rào cản an toàn để tạo ra nội dung độc hại. Diễn đàn Frontier Model Forum đã đề xuất Hệ thống Xếp hạng Jailbreak nhằm phân loại mức độ và trọng số của các lỗ hổng trên mô hình ngôn ngữ lớn, giúp các phòng thí nghiệm nhận diện trước những rủi ro tiềm ẩn trước khi chúng xảy ra trong thực tế.