Tin công nghệ › AI & Dữ liệu

Luật sư tự chế máy chủ AI chạy DeepSeek tại nhà bằng 8 GPU NVIDIA V100 đời cũ

Một luật sư đã tự dựng máy chủ AI riêng tư sử dụng 8 card NVIDIA Tesla V100 từ năm 2018 với 256 GB bộ nhớ HBM2 để chạy cục bộ mô hình DeepSeek V4.1-Flash. Hệ thống này giúp bảo mật tuyệt đối tài liệu pháp lý nhạy cảm mà không cần gửi lên các dịch vụ đám mây bên ngoài.

Wccftech19:48 16/11/20264 phút đọc

Ảnh: Wccftech

Một luật sư đã lắp ráp một máy chủ AI riêng tư có hiệu năng bất thường bằng cách sử dụng tám GPU NVIDIA Tesla V100 từ năm 2018, cung cấp tổng dung lượng bộ nhớ HBM2 kết hợp là 256 GB để chạy DeepSeek V4.1-Flash cục bộ. Thiết lập ban đầu từng đạt tốc độ ấn tượng 215 token mỗi giây trong việc tạo mã nguồn, nhưng nhà sáng tạo ra nó từ đó đã nâng cấp hệ thống với lượng RAM lớn hơn đáng kể, cải tiến lượng tử hóa và bổ sung thêm phần cứng.

Dự án này thuộc về Nick Mermiges, một luật sư tranh tụng và là nhà sáng lập của PLI Labs, người đã chi tiết hóa hệ thống tự chế của mình trên Reddit, trước khi công bố bản cập nhật tiếp theo vào ngày 12 tháng 11.

Động lực chính của ông là giữ các tài liệu pháp lý bảo mật trên phần cứng cục bộ thay vì gửi chúng lên các dịch vụ AI dựa trên nền tảng đám mây. Hệ thống xử lý các tệp hồ sơ vụ án, trích xuất thông tin liên quan, tóm tắt tài liệu và tạo các bản thảo sơ bộ, với việc kiểm tra của con người vẫn là bắt buộc.

Tám GPU NVIDIA V100 cung cấp 256 GB HBM2 cho suy luận AI cục bộ

Máy chủ AI NVIDIA V100 bao gồm tám bộ tăng tốc Tesla V100 SXM2 32 GB được phân phối trên hai bo mạch chủ bốn GPU, mỗi bo mạch được kết nối nội bộ thông qua NVLink. Giao tiếp giữa các bo mạch dựa trên PCIe 3.0, với bốn switch PEX và cáp SlimSAS xử lý kết nối.

Mỗi V100 cung cấp băng thông bộ nhớ HBM2 900 GB/s. Hệ thống máy chủ sử dụng bộ xử lý AMD Threadripper PRO 3945WX, trong khi cấu hình ban đầu bao gồm 256 GB bộ nhớ DDR4 ECC.

Mermiges ước tính rằng mỗi cụm bốn GPU có giá khoảng 2.400 USD khi mua, đưa tổng chi phí các bộ tăng tốc lên khoảng 4.800 USD, chưa bao gồm máy chủ, nguồn điện và các linh kiện khác. Đây là giá mua lịch sử chứ không phải là báo giá thị trường hiện tại.

Thông qua các tùy chỉnh tùy chỉnh và bố cục đường ống song song hai giai đoạn, hệ thống ban đầu đã đạt được các kết quả sau:

Mô hình được lượng tử hóa phần lớn ở mức 2-bit chiếm khoảng 248.8 GB, mặc dù không phải mọi thứ đều nằm trong bộ nhớ GPU. Tất cả các chuyên gia được định tuyến vẫn nằm trong VRAM, trong khi khoảng 110 GB bảng tra cứu Engram nằm trong RAM hệ thống.

Bản nâng cấp mới cải thiện độ trung thực của đầu ra AI nhưng đánh đổi hiệu suất

Phiên bản mới nhất, có tên là Volta Max uPLIft, nâng cấp các chuyên gia thường xuyên được sử dụng lên độ chính xác NVFP4 của NVIDIA trong khi vẫn giữ nguyên các biểu diễn 2-bit cho các chuyên gia còn lại.

Do đó, khoảng 80–86% các kích hoạt chuyên gia trong các bài kiểm tra yêu cầu đơn lẻ của nhà xây dựng hiện sử dụng độ chính xác NVFP4. Sự đồng thuận về token tiếp theo với mô hình tham chiếu của NVIDIA đã tăng từ 92.2% lên 95.1%, mặc dù điều này thể hiện độ trung thực đầu ra được cải thiện chứ không phải là phép đo trực tiếp về độ chính xác.

Sự đánh đổi là hiệu suất tạo ra thấp hơn, với đầu ra mã nguồn hiện đạt khoảng 150–180 token mỗi giây. Tuy nhiên, hai yêu cầu đồng thời cung cấp thông lượng kết hợp là 159 token mỗi giây.

Mermiges cũng đã mở rộng RAM hệ thống lên 1 TB và cài đặt một RTX 3090, mà ông dự định sử dụng cho việc soạn thảo suy đoán.

Dự án không phải là không có vấn đề, bao gồm đầu nối nguồn bị cháy, lỗi bộ nhớ ECC và các sự cố sập nguồn cuối cùng bị nghi ngờ là liên quan đến việc cấp nguồn bị lỗi. Ngoài ra, nhánh trình điều khiển R580 của NVIDIA là nhánh cuối cùng hỗ trợ Volta.

Tuy nhiên, Mermiges ước tính rằng thiết lập riêng tư của ông có thể thay thế khoảng 50–60% quy trình làm việc LLM trước đây của ông, chứng minh cách các GPU doanh nghiệp cũ có thể vẫn hữu ích cho các ứng dụng AI đòi hỏi cao khi kết hợp với việc tối ưu hóa phần mềm rộng rãi.

Các triển khai ban đầu và đã cập nhật của dự án, bao gồm các điểm chuẩn và cấu hình, có sẵn công khai trên GitHub.

Bài gốc (tiếng Anh): Lawyer’s NVIDIA V100 AI Server Runs DeepSeek Locally, Upgraded With 1 TB RAM And Near-NVFP4 Precision
Nguồn: Wccftech · Bản dịch tiếng Việt của VGSNews, chỉ để tham khảo.
FacebookTelegramX← Tin khác