Groq chuẩn bị chuyển sang dùng DRAM xếp chồng 3D cho thế hệ LPU tiếp theo nhằm tăng dung lượng bộ nhớ

Công ty Groq thuộc sở hữu của NVIDIA được cho là đang lên kế hoạch sản xuất các chip nhớ thế hệ tiếp theo sử dụng công nghệ DRAM xếp chồng 3D.

Groq hướng tới công nghệ nhớ DRAM xếp chồng 3D trong các chip thế hệ mới, đặt dung lượng lên trên tốc độ

Đầu năm nay, NVIDIA đã công bố các rack Groq LPX, vốn là một phần của hệ sinh thái Vera Rubin nhằm thúc đẩy hiệu suất suy luận. Các rack LPX đã đi vào sản xuất toàn diện từ tháng 8 vừa qua và các kết quả ban đầu cho thấy hiệu suất kỷ lục đạt 3.400 Token mỗi giây khi kết hợp với các máy chủ NVL72.

Thế hệ LPU Groq hiện tại tích hợp 500 MB SRAM, đạt tốc độ băng thông cực nhanh 150 TB/s trong khi các rack được cấu hình với 256 chip này, mang lại dung lượng SRAM khoảng 128 GB và băng thông mở rộng quy mô 640 TB/s. Tính riêng lẻ, mỗi Groq LPU đạt năng lực tính toán 1,20 PFLOPs FP8.

Giờ đây, đối với thế hệ tiếp theo, Groq đang muốn làm mọi thứ có đôi chút khác biệt. Thay vì sử dụng SRAM, công ty sẽ khai thác công nghệ DRAM và kết hợp nó trong giải pháp 3DS (Xếp chồng 3D). DRAM cung cấp dung lượng cao hơn nhưng đánh đổi tốc độ băng thông.

Một nguồn tin trong ngành bán dẫn cho biết: "Groq có kế hoạch giới thiệu công nghệ đóng gói 3D cho các chip thế hệ tiếp theo của mình", và bổ sung thêm: "Nó liên quan đến việc xếp chồng DRAM thay vì SRAM hiện có". Giới trong ngành giải thích động thái của Groq là ý định gia tăng đáng kể dung lượng chip. SRAM rất nhanh nhưng có dung lượng hạn chế, trong khi DRAM tương đối chậm hơn nhưng có lợi thế trong việc triển khai dung lượng lớn.

(Theo ZDNet Korea)

Với công nghệ Xếp chồng 3D, Groq sẽ có thể xếp chồng nhiều lớp DRAM trong một con chip dọc duy nhất, được kết nối bằng các lỗ dẫn qua silicon (TSV). Điều này tương tự như cách bộ nhớ HBM được thiết kế hiện nay. Việc xếp chồng 3D sẽ cho phép giảm diện tích bề mặt và tăng hiệu quả năng lượng so với các gói DRAM truyền thống.

Trọng tâm chính của Groq dường như là dung lượng bộ nhớ trong lần này, đồng thời vẫn giữ lại một số khía cạnh về tốc độ băng thông cao vốn có trên các chip chỉ dùng SRAM của họ. Khi các mô hình tiếp tục phát triển, các chip Groq mới nhất có thể sẽ nhận được sự thúc đẩy lớn hơn từ những tên tuổi như NVIDIA, những đơn vị đã sử dụng chúng để tăng cường các nhà máy AI và nền tảng AI của họ. Cũng có một gợi ý rằng Groq sẽ giữ các chip DRAM và SRAM tách biệt với nhau, cung cấp cho ngành công nghiệp một giải pháp phù hợp với nhu cầu của họ.