Trải nghiệm AI chạy nội bộ: Mất nguyên ngày loay hoay mà vẫn chưa đâu vào đâu

Việc tiếp cận AI trên đám mây đã mang lại lợi ích lớn cho năng suất của tôi. Việc tự tay xây dựng một ứng dụng Windows nội bộ tích hợp AI cũng vậy. Nhưng còn việc sử dụng AI chạy cục bộ để làm việc? Cho đến nay, tôi thực sự chưa mấy ấn tượng.

Việc tôi thử nghiệm AI chạy nội bộ diễn ra khá tự nhiên, đặc biệt là khi tìm kiếm giải pháp thay thế cho các hệ thống AI đám mây. Tôi đã từng tiếp cận qua tác nhân Nous Research Hermes trong khuôn khổ bài viết về RTX Spark, bắt đầu với bài đánh giá Surface Laptop Ultra.

Đồng nghiệp của tôi, Ben Patterson, đã theo dõi sự tiến hóa của AI đám mây thành AI tác nhân (agentic AI) qua bản tin Prompt Mode của anh ấy, vì vậy tôi cảm thấy yên tâm rằng mình có người hỗ trợ nếu cần thiết. Dù vậy, không có cách học nào tốt hơn là tự mình trải nghiệm.

Chào mừng bạn đến với bản tin Smart Mode của PCWorld! Trọng tâm của bản tin này là năng suất: từ phần mềm, phần cứng cho đến các thiết bị ngoại vi, tất cả đều hướng đến mục tiêu giúp bạn hoàn thành công việc một cách hiệu quả nhất.

Tôi là người dẫn chương trình của bạn, Mark Hachman, phụ trách các mẹo, công cụ và xu hướng năng suất mà bạn cần biết từ trong ra ngoài PCWorld. Nếu bạn muốn nhận số mới nhất vào hộp thư đến mỗi tuần, chỉ cần đăng ký ngay tại đây.

Thành thật mà nói, AI tác nhân khiến tôi cảm thấy lo lắng. Hermes là đối thủ cạnh tranh với OpenClaw AI, một công cụ từng khiến cả những người dùng AI lâu năm cũng phải e sợ nhờ khả năng tự tung tự tác trên máy tính của bạn. Mặt khác, bản chất tác nhân của nó có nghĩa là nó có thể tự động thực hiện các tác vụ mà những AI khác không làm được. Chờ đợi một chút trước khi thử nghiệm rõ ràng là một quyết định khôn ngoan.

Một lần nữa, trải nghiệm đầu tiên của tôi với Hermes bắt đầu trên Surface Laptop Ultra, với mức dung lượng bộ nhớ (32GB) tương đốiêm tốn, đồng nghĩa với việc bộ nhớ sẽ phải chia sẻ giữa RAM hệ thống và VRAM. VRAM thấp hơn đồng nghĩa với các mô hình cục bộ nhỏ hơn, và trong trường hợp này, hiệu năng có thể sẽ chậm hơn. Ban đầu, tôi mày mò với Hermes như một bài kiểm tra đối với chính chiếc laptop đó.

Mark Hachman / Foundry

Điều tôi nhận thấy ngay lập tức là các cài đặt mặc định tỏ ra quá thận trọng một cách thái quá. Một trong những việc đầu tiên tôi làm là yêu cầu một số thước đo hiệu năng, chẳng hạn như cách theo dõi số lượng token mà chiếc laptop tạo ra. Hermes có khả năng tự động ra ngoài, tìm kiếm trên web, đồng thời nhấp chuột và cài đặt phần mềm trên máy tính của bạn. Tại đây, Hermes giống như một ví dụ điển hình về thái độ thụ động-tích cực, yêu cầu tôi phải thủ công phê duyệt từng chuyển động chuột và cú nhấp. Đó rõ ràng là sự lãng phí thời gian của tôi. Bạn từng nghe nói về việc con người huấn luyện AI — còn tôi thì cảm thấy mình đang được huấn luyện để giao toàn quyền kiểm soát cho Hermes!

Thực tế tôi không đi được quá xa với Hermes trên chiếc Surface trước khi một đồng nghiệp mượn nó. Tôi đã xóa sạch dữ liệu trên máy và giao nó cho họ. Tuy nhiên, tôi vẫn tò mò muốn xem Hermes sẽ hoạt động thế nào trong lần chạy tiếp theo, vì vậy tôi đã mở một cỗ máy RTX Spark khác để tìm hiểu sâu hơn.

AI cục bộ có thể thất bại… và sự thất bại có thể kéo dài vô tận

Giống như trên chiếc laptop đầu tiên, tôi tải xuống ứng dụng Hermes từ Microsoft Store. Chiếc laptop thứ hai này có RAM 64GB, nên có nhiều bộ nhớ hơn được phân bổ cho GPU và các tính năng AI của nó. Điều tôi không ngờ tới là Hermes ngay lập tức quyết định hành động một cách tự động mà không cần sự can thiệp của tôi trong từng cú nhấp chuột. Theo trí nhớ của tôi, tôi chưa bao giờ bật tính năng phản hồi tự động đó trong lần cài đặt Hermes ban đầu. Dù sao đi nữa, tôi không chắc các thiết lập ưu tiên của mình có được lưu lên đám mây hay không.

Mark Hachman / Foundry

(Một nút điều khiển nhỏ ở góc dưới bên phía tay phải của giao diện Hermes quản lý việc này. Các phê duyệt ở chế độ "Thủ công" đòi hỏi sự can thiệp của con người trong hầu hết mọi trường hợp. Các cài đặt "Thông minh" sẽ xử lý phần lớn một cách tự động. Ngoài ra còn có tùy chọn tắt toàn bộ sự giám sát của con người. Tôi khuyên bạn không nên bật nó.)

Ngoài ra, tôi cài đặt Hermes theo một cách khác trên chiếc PC thứ hai. Ban đầu, Hermes được thiết lập với quyền kiểm soát từ đám mây, nghĩa là tôi đang gọi một mô hình đám mây của Nous nhưng hoạt động ở dạng cục bộ. Điều đó chưa bao giờ thực sự được tiết lộ rõ ràng, vì vậy lần cài đặt thứ hai của tôi thực sự đã bị đình trệ — các khoản tín dụng đám mây của tôi đã hết, khóa API bị từ chối, và Hermes ngồi trơ ra, không thể làm được gì cả. Nếu không có mô hình AI nào để truy cập, Hermes sẽ hoàn toàn chết trân. May mắn thay, tôi đã tìm ra cách tải xuống mô hình Qwen 3.8 với 27 tỷ tham số để sử dụng làm nguồn AI cục bộ.

Mark Hachman / Foundry

Tôi ngay lập tức thử thực hiện hai tác vụ cơ bản giống như những gì tôi đã đặt ra cho chiếc laptop đầu tiên: thiết lập bộ đếm số lượng token mà nó tạo ra, cũng như chỉ báo về số token mà nó xử lý được trong mỗi giây. Nghe có vẻ đơn giản phải không?

Cũng tùy. Hermes ngay lập tức xác định rằng nó cần một plugin từ trang web của Nous và cố gắng cài đặt — nhưng liên tiếp gặp hết thông báo lỗi này đến thông báo lỗi khác. Tuy nhiên, nó có vẻ quyết tâm thử lại cho đến khi tôi hỏi chuyện gì đang xảy ra. Hermes báo cáo rằng nó cần Git, công cụ quản lý kho lưu trữ phần mềm. Việc cài đặt Git không hề gặp vấn đề gì; nó chỉ mất vài thao tác nhanh chóng trong dòng lệnh. Nhưng quá trình từ lệnh ban đầu của tôi cho đến khi phát hiện ra nó bị đình trệ lại mất nhiều thời gian hơn dự tính ban đầu của tôi rất nhiều.

Khi plugin đó đã được cài đặt xong, tôi yêu cầu một công cụ theo dõi token đơn giản để đo lường số lượng token được xử lý mỗi giây. Ngay cả khi cuối cùng đã được tải lên, và sau một hoặc hai lần khởi động lại, nó dường như vẫn không hoạt động.

Việc chia nhỏ các tác vụ thành hai phiên riêng biệt thực sự cũng không giúp ích gì nhiều, vì các token có sẵn bị chia ra cho hai phiên làm việc khác nhau.

Tất cả những điều này, tất nhiên, diễn ra trong lúc làm việc cục bộ trên PC của tôi. Hermes thực sự cung cấp một tùy chọn khác: chạy dịch vụ đám mây làm phần phụ trợ, thay vì AI cục bộ. Tôi đã hết tín dụng Hermes, nhưng tôi có các gói đăng ký phiên bản trả phí của ChatGPT và Google Gemini. Chắc chắn một trong số chúng sẽ cung cấp cho tôi khóa API để cắm vào làm trung gian chứ? Tiếc là không. Gói đăng ký công việc của ChatGPT từ chối cấp khóa API, và tài khoản Gemini cá nhân của tôi dường như cũng không hoạt động. Tôi có thể sử dụng phiên bản miễn phí của Gemini làm phần phụ trợ, nhưng điều đó lại làm mất đi sự hấp dẫn của AI cục bộ… mặc dù nó cũng chạy nhanh hơn rất nhiều.

Mark Hachman / Foundry

Vấn đề khác mà tôi gặp phải là quyền truy cập tệp. Theo mặc định (và đây có lẽ là một điều tốt), Hermes không có quyền truy cập tệp, và việc cấp quyền cho nó đòi hỏi phải thêm một MCP đặc biệt — hoặc ít nhất đó là những gì Hermes thông báo. Tiện thể, chính Hermes cũng khuyên tôi không nên chạy nó!

Tóm lại, tôi đã dành khoảng hai phần ba ngày trời chỉ để đưa Hermes đến mức mà tôi nghĩ nó có thể hữu ích. Và đó là trước khi tôi chạm đến thời điểm bắt đầu giao cho nó một việc gì đó để làm.

AI cục bộ có vẻ hoạt động tốt hơn ở chế độ nền

Tôi nghĩ rằng ý tưởng về các cỗ máy RTX Spark có cơ sở vững chắc hơn tôi nhận ra ban đầu — rằng bằng cách cho phép AI cục bộ và Windows cùng tồn tại, bạn có thể "làm việc" trên màn hình này trong khi để một tác nhân làm việc ở màn hình khác. Điều đó có ý nghĩa hơn khi AI di chuyển đủ chậm khiến sự kiên nhẫn của bạn cạn kiệt.

Tuy nhiên, chúng ta vẫn chưa đạt được đến mức đó. ChatGPT và các LLM đám mây khác mang lại cảm giác hiệu quả. Hỏi là được trả lời. Các phiên bản cục bộ chạy bởi các ứng dụng như Ollama cũng vậy. Công việc tự phát triển các ứng dụng AI của riêng tôi cũng mang lại cảm giác năng suất, nhất là vì tôi thiếu kỹ năng để tự mình tái tạo những gì nó đang làm.

Cho đến nay, những gì tôi thấy ở AI tác nhân mang lại cảm giác như tôi đang dành nhiều thời gian hơn cho việc cấu hình và tìm hiểu nó thay vì thực sự sử dụng nó, đến mức tôi cảm thấy mình đang lãng phí thời gian khi làm việc đó. Và trong khi tôi có một số mục tiêu trong đầu đối với AI tác nhân, tôi đang tự hỏi chúng sẽ khả thi đến mức nào.

Mark Hachman / Foundry

Tôi hoàn toàn không gạch bỏ AI cục bộ. Cuối cùng, một cái gì đó giống như Dots của ChatGPT có thể sẽ chuyển xuống cấp độ người dùng của tôi, và có lẽ có những việc tôi có thể làm để tối ưu hóa phần cứng và phần mềm nhằm tối đa hóa số lượng token cũng như tiện ích. Nói đi cũng nói lại, rõ ràng tôi không phải là người duy nhất có những phàn nàn về vấn đề này.

Điều duy nhất tôi đánh giá cao về AI cục bộ và Hermes, là không có gì trong số đó — miễn là bạn đang sử dụng một mô hình cục bộ — bị khóa sau một mớ hỗn độn các thông tin đăng nhập và gói đăng ký. Mặt khác, các triển khai AI đám mây lại mang đến một sự triển khai sạch sẽ và gọn gàng. Chúng ta cần điều đó nhiều hơn trên máy tính để bàn. Có lẽ Copilot Code của Microsoft và các Copilot khác sẽ tạo nên sự khác biệt. Hoặc Dots của ChatGPT…