Trải nghiệm AI cục bộ trên laptop khủng: Khi bạn vung tay tiêu tốn hàng trăm nghìn token chỉ vì thích

Khi bạn mua sắm qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể nhận được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập trong biên tập của chúng tôi.

Tôi đã yêu cầu chiếc laptop của mình tạo ra 220.202 token AI trong khoảng 13 phút chỉ vì tôi muốn tìm câu trả lời cho một câu hỏi. Sau đó, tôi bắt đầu tự hỏi điều gì sẽ xảy ra nếu tôi làm lại điều đó lần nữa. Rồi lại lần nữa. Và lần nữa.

Đó là lúc AI cục bộ bắt đầu trở nên thực sự thú vị.

Tôi đã thử nghiệm chiếc Asus ProArt P16 RTX Spark trị giá 7.000 USD bằng cách ném vào nó một dự án nghiên cứu thực tế lớn chưa từng có. Thay vì đặt câu hỏi cho một chatbot thông thường, tôi đang sử dụng mô hình gpt-oss 120 tỷ tham số khổng lồ của OpenAI để nghiền ngẫm hàng trăm điểm dữ liệu tiềm năng, đánh giá chúng theo nhiều cách khác nhau, thử thách các kết luận của chính nó và cho ra những phần phân tích khổng lồ.

Một lần chạy thử nghiệm ban đầu đã khảo sát 403 ứng viên và tạo ra 220.202 token trong thời gian chưa đầy 13 phút. Đó là một lượng AI khổng lồ.

Và bởi vì mô hình chạy hoàn toàn trên máy xách tay của tôi, tôi chẳng bận tâm điều đó.

Đồng hồ đo thay đổi mọi thứ

Những token đó không miễn phí. Một chiếc laptop giá 7.000 USD chắc chắn không hề rẻ. Tiền điện cũng không miễn phí. Thời gian của tôi cũng có giá trị. Nếu bạn đang mua phần cứng đặc biệt để tránh các hóa đơn AI trên đám mây, bạn cần phải tính toán tất cả những điều đó trước khi tuyên bố chiến thắng.

Nhưng một khi chiếc laptop đã nằm trên bàn làm việc của tôi, việc tạo thêm 200.000 token nữa không hề sinh ra thêm chi phí API nào.

Điều đó thay đổi cách bạn sử dụng nó.

Với AI trên đám mây, mọi thí nghiệm bổ sung đều đi kèm với chi phí biên. Tôi có nên phân tích mọi ứng viên hay thu hẹp phạm vi trước? Tôi có nên chạy thêm một bài kiểm tra đối kháng với các kết quả này không? Tôi có nên lặp lại toàn bộ quá trình sau đó khi thông tin cơ bản thay đổi? Liệu việc trả lời câu hỏi nhỏ kỳ lạ này có đáng để đổi lấy một