Dân chơi homelab dùng thanh Intel Optane chạy mô hình AI 2.800 tỷ tham số chỉ bằng CPU

Một người dùng chuyên làm hệ thống homelab trên Reddit vừa thành công trong việc chạy mô hình AI Kimi K3 với 2.800 tỷ tham số của Moonshot AI bằng cách sử dụng các thanh bộ nhớ Optane PMem 200 thế hệ thứ hai đã ngừng sản xuất, kết hợp cùng CPU Xeon Scalable đời thứ 3 có 40 nhân mà hoàn toàn không cần đến GPU để suy luận. Hệ thống này tỏa nhiệt rất lớn, và lời khuyên từ tác giả là bạn "phải coi việc tản nhiệt chủ động cho khe DIMM là bắt buộc", với hai quạt thổi 12W hướng thẳng vào các mô-đun để kiểm soát nhiệt độ. Dự án này là phần tiếp theo sau một thử nghiệm dùng Optane thế hệ đầu tiên vào đầu năm nay, đạt tốc độ khá chậm chạp ở mức 0.85 token mỗi giây ngay cả khi áp dụng lượng tử hóa 1-bit.

Kimi K3 hoàn toàn không được thiết kế cho mục đích sử dụng gia đình theo đánh giá của chúng tôi, khi Moonshot AI khuyến nghị các công cụ suy luận trung tâm dữ liệu để chạy nó, và ngay cả phiên bản lượng tử hóa nhỏ nhất từ cộng đồng cũng cần ít nhất 610GB RAM. Việc sử dụng Optane đã qua sử dụng thay thế lại là một trong số ít cách để đạt được mức dung lượng đó tại nhà. Tình hình càng khó khăn hơn khi giá DRAM tăng vọt, và người dùng cho biết chi phí bộ nhớ Optane chỉ bằng "một phần nhỏ" so với giải pháp tương đương.

Intel ra mắt dòng bộ nhớ bền vững Optane Persistent Memory 200 Series (PMem 200) vào năm 2020 cho các CPU Xeon Scalable thế hệ thứ 3 với các mức dung lượng 128GB, 256GB và 512GB. Trên các nền tảng Xeon hai socket, dòng này chạy ở tốc độ MT/s hiệu dụng cao hơn thế hệ đầu tiên (PMem 100) từng được dùng ở dự án trước, và có thể đem lại băng thông bộ nhớ trung bình cao hơn tới 32%. Optane có thể chạy ở Chế độ Bộ nhớ (Memory Mode) hoặc Chế độ Trực tiếp Ứng dụng (App Direct Mode); cả hai bản dựng đều có nền tảng hỗ trợ các chế độ này.

Chế độ Bộ nhớ giúp Optane đóng vai trò như bộ nhớ hệ thống với DRAM làm bộ nhớ đệm, phương pháp đã dùng trong bản dựng đầu tiên, trong khi App Direct hiển thị Optane như một vùng riêng biệt, bền vững mà phần mềm ánh xạ trực tiếp, chế độ được dùng ở bản thứ hai. Điều này có thể mang lại "khả năng kiểm soát tốt hơn về nơi lưu trữ các tensor của mô hình", theo người tạo ra bản dựng đầu tiên, u/APFrisco, người có kế hoạch thử nghiệm nó.

Hiệu năng thực sự bị giảm sút khi chọn Optane thay vì DRAM, và với mức lượng tử hóa 3-bit cao hơn, tốc độ còn giảm xuống thấp hơn nữa ở mức 0.75 token mỗi giây. Một bình luận viên chỉ ra rằng điều này rất chậm, với tác vụ 50k token ước tính mất 13 giờ ở mức khoảng 1 token mỗi giây, nhưng người khác lưu ý rằng các lô chạy qua đêm không quá quan trọng về tốc độ. Cả hai tốc độ này đều so sánh với mức khoảng 4 token mỗi giây của bản dựng đầu tiên, mặc dù trong trường hợp đó, người dùng có thêm card RTX 3060 xử lý một phần mô hình bên cạnh Chế độ Bộ nhớ, mức lượng tử hóa 2-bit, và mô hình K2.5 nhỏ hơn, đời cũ hơn với 1.000 tỷ tham số.

Người dùng mới nhất cũng phải đối phó với lượng nhiệt tỏa ra, với các thanh Optane DIMM trở nên "cực kỳ nóng" khi suy luận liên tục, tạo ra tình huống mà tác giả cho biết có thể gây nguy hiểm cho các thanh DRAM lân cận. Lượng nhiệt đó khớp với thông số kỹ thuật của riêng Intel, khi nhà sản xuất xếp hạng các mô-đun với luồng khí cưỡng bức từ 2.4 đến 2.7 mét mỗi giây để làm mát, điều bạn mong đợi tìm thấy trong các trung tâm dữ liệu. Bạn có thể không thường xuyên có luồng không khí ở mức độ này thổi trực tiếp vào các thanh nhớ của mình.

Điều kiện hoạt động dự kiến đặt mỗi mô-đun Optane ở mức 12W hoặc 15W, bất kể dung lượng. Nếu bản dựng sử dụng bốn thanh, điều đó có nghĩa là lên tới 60W nhiệt lượng được đặt ngay cạnh bộ nhớ hệ thống. Hiện tượng điều tiết nhiệt trên các thanh này xảy ra ở 83 độ C, với việc ngắt nguồn do quá nhiệt ở 85 độ C, so với mức 85 độ C và lên tới 95 độ C trong dải nhiệt độ mở rộng mà bộ nhớ máy chủ DDR4 thông thường được định mức. Rất nhiều nhiệt lượng phải được loại bỏ khỏi hệ thống để mọi thứ hoạt động.

Các số liệu hiệu suất được cung cấp là trước khi tinh chỉnh — nghĩa là chưa tinh chỉnh số lượng luồng hoặc độ ưu tiên NUMA — vì vậy vẫn còn dư địa để cải thiện, và một bình luận viên cũng hỏi về việc sử dụng Chế độ Bộ nhớ với bộ đệm DRAM cho các chuyên gia được dùng nhiều nhất. Người dùng có kế hoạch bổ sung GPU và cũng tải các phần của mô hình vào DRAM như một tầng nhanh hơn bên cạnh Optane, với "nhiều điểm chuẩn hơn sắp ra mắt."