Giải mã các thuật ngữ cốt lõi về AI LLM dành cho người mới bắt đầu

Khi phần cứng dùng để chạy các mô hình AI cục bộ tiếp tục tiến lên vị trí tiên phong, chẳng hạn như Nvidia RTX Spark, một tập hợp các từ viết tắt, định nghĩa và thuật ngữ mới liên tục xuất hiện. Với tốc độ phát hành chóng mặt như hiện nay, chúng tôi đã tổng hợp danh sách các thuật ngữ AI mới để làm quen với bạn đọc trước các bài viết chuyên sâu.

Cẩm nang này sẽ giúp bạn bước chân vào thế giới AI và hữu ích cho lần tới khi có tin tức mới xuất hiện, hoặc có thể khi bạn đang tải xuống một số mô hình để tự mình thử nghiệm và tùy chỉnh. Trong khuôn khổ bài viết này, chúng tôi sẽ bám sát các khái niệm liên quan đến LLM văn bản, hay nói theo ngôn ngữ thông thường là chat, lập trình và các bot tác nhân.

Model (Mô hình)

Đây có lẽ là khái niệm dễ nhất: model chính là bản thân LLM (Mô hình Ngôn ngữ Lớn), được tính toán từ các tập huấn luyện chủ yếu là dữ liệu văn bản có quy mô từ terabyte đến petabyte. Thông tin huấn luyện đó đến từ internet, sách, bản ghi video và audio, cùng các nguồn khác.

Mô hình này gần như tương tự với một tập hợp các tầng phân tích thống kê cực kỳ tiên tiến về mối quan hệ giữa các token — từ hoặc một phần của từ, mã máy tính, dấu câu và các ký hiệu khác. Bản thân các token không phải là một phần của mô hình, nhưng chúng được đóng gói cùng với nó. Một mô hình AI tạo ra các token trong phần đầu ra của nó.

Weights (Trọng số)

Các tầng tính toán bên trong một mô hình AI sẽ trở nên vô dụng nếu thiếu đi các trọng số tương ứng, đại diện cho độ mạnh của kết nối giữa các phần của token, giống như việc một con đường giữa các nơ-ron được đi lại nhiều hơn những con đường khác. Khi mô hình chạy, các giá trị này cuối cùng sẽ thiết lập cách các token liên hệ với nhau.

Ví dụ: trọng số của các kết nối giữa "na" và phần tiếp theo cho "naval", "nachos" hoặc "naruto" sẽ hoàn toàn khác nhau, và trọng số càng cao thì từ đó càng xuất hiện thường xuyên trong dữ liệu huấn luyện. Quan trọng là, trọng số không thể thay đổi nếu không huấn luyện lại mô hình, hoặc các phần của nó.

Khi bạn xem thông số kỹ thuật của LLM trực tuyến, bạn sẽ thấy thứ gì đó như "4B", "8B+", "20B" vân vân và mây mây. Điều đó cho thấy có bao nhiêu tham số, hoặc trọng số, mà mô hình sử dụng, và nó thường được đo bằng hàng tỷ cho các mô hình cấp độ tiêu dùng, và hàng nghìn tỷ cho các mô hình biên như GPT, Claude và Kimi.

Lưu ý rằng một mô hình có nhiều trọng số hơn mô hình khác không có nghĩa là nó thông minh hơn. Giống như tốc độ xung nhịp CPU, không chỉ là đạt được con số cao hơn — lớn hơn thường tốt hơn, vâng, nhưng bạn muốn những trọng số đó phải có ý nghĩa đối với đầu ra.

Bạn cũng có thể đã nghe về các mô hình "open-weight" (mở trọng số) so với các mô hình "closed" (đóng). Chúng đề cập đến các mô hình như Llama, DeepSeek và Kimi, về cơ bản là miễn phí sử dụng, vì các thực thể đứng sau chúng xuất bản tự do trọng số trực tuyến. Bạn có thể tùy chỉnh trọng số theo ý thích nếu muốn và tạo ra biến thể của riêng mình, miễn là bạn có phần cứng để chạy nó. Lưu ý rằng việc tải xuống một mô hình miễn phí không tiết lộ bất cứ điều gì về cách nó được huấn luyện hoặc cách các trọng số được tính toán — hãy nghĩ đến việc tải xuống một ứng dụng miễn phí có thể tùy chỉnh, chứ không phải phần mềm mã nguồn mở.

Data types and quantization (Kiểu dữ liệu và lượng tử hóa)

FP16, INT8, FP4 đều nghe giống như các từ viết tắt trong sổ tay quân sự nào đó, nhưng chúng rất đơn giản để diễn giải. Tất cả các chương trình sử dụng các số có độ rộng và độ chính xác khác nhau, tùy thuộc vào mục đích của chúng: một bộ đếm tiền đơn giản trong trò chơi yêu thích của bạn có thể ổn với số nguyên 32-bit có thể biểu diễn từ 0 đến 2^32 (INT32), trong khi một giá trị được giữ trong bộ nhớ cho phép đo lường khoa học có độ chính xác cao có thể cần phép tính dấu phẩy động 64-bit (FP64).

Vì bộ nhớ là một tài nguyên cực kỳ hữu hạn, các lập trình viên giỏi cố gắng sử dụng các đơn vị nhỏ nhất có thể, một khái niệm đặc biệt quan trọng trong thế giới giới hạn VRAM của GPU. Dễ đoán là, các chip này trở nên đặc biệt thành thạo trong việc xử lý các giá trị độ chính xác thấp hơn như một sự đánh đổi giữa tốc độ xử lý và độ chính xác số học. Một kiểu dữ liệu cụ thể không tốt hơn hay tồi tệ hơn, vì đánh giá đó sẽ phụ thuộc vào việc nó được sử dụng để làm gì.

Khi huấn luyện một mô hình AI, các phòng thí nghiệm sẽ muốn sử dụng độ chính xác cao nhất có thể cho các trọng số, nhưng việc giữ nguyên điều đó trong phiên bản cuối cùng sẽ tạo ra một LLM quá cồng kềnh và chậm chạp. Đó là lúc khái niệm lượng tử hóa xuất hiện, một từ mỹ miều cho "làm tròn thông minh". Là một trong các bước sau khi huấn luyện, một số lượt được thực hiện để biến đổi các trọng số có độ chính xác cao. Mỗi phòng thí nghiệm AI có bí quyết riêng về cách thực hiện việc này, vì đây là một bước quan trọng.

Các mô hình biên chủ yếu sử dụng độ chính xác tương đối cao cho trọng số của chúng (BF16), nhằm duy trì chất lượng phản hồi, sắc thái và khả năng suy luận. Các mô hình mở trọng số thường có một số phiên bản với các cấp độ lượng tử hóa khác nhau tùy thuộc vào phần cứng của bạn chịu được gì — ví dụ, Llama 3.3 70B có thể chạy ở dạng BF16 đầy đủ hoặc INT4 lượng tử hóa.

Độ chính xác càng thấp, khả năng chạy trên phần cứng tiêu dùng càng cao. Các mô hình AI được liệt kê trên Hugging Face có thể có một số cấp độ lượng tử hóa để phù hợp với các cấp độ phần cứng nhất định, đánh đổi độ chính xác phản hồi lấy kích thước. Các mô hình cấp độ tiêu dùng sử dụng các kiểu dữ liệu nhỏ hơn để chúng có thể vừa vặn trên Mac Studio, RTX Spark hoặc card đồ họa của bạn.

Context window (Cửa sổ ngữ cảnh)

"Context window" là một thuật ngữ khác mà bạn đã nghe rất nhiều và có lẽ đã thấy trực tận mắt, khả năng cao là trong giao diện của Claude Code như một chỉ báo rộng về thời gian phiên làm việc của bạn có thể kéo dài trước khi bot bắt đầu hơi ngớ ngẩn một chút. Nó được đo bằng token, với một triệu là con số phổ biến cho các mô hình biên, và nó gần như tương đương trực tiếp với RAM trong máy tính.

Cửa sổ ngữ cảnh là không gian tư duy của LLM và nó cần chứa mọi thứ liên quan đến phiên làm việc của bạn, không chỉ câu hỏi hiện tại. Cùng với tất cả các câu hỏi của bạn và câu trả lời của nó, nó chứa các prompt cấp hệ thống, tất cả các tệp bạn đã tải lên, nội dung của các liên kết mà nó đã tra cứu, cùng với bất kỳ dữ liệu liên quan nào.

Quan trọng nhất, trong khi đối với bạn tất cả những thứ này là các khái niệm riêng biệt, đối với LLM, chúng được thu gọn thành các token trong một đống lớn: cửa sổ ngữ cảnh. Đây cũng là lý do tại sao việc tách biệt "dữ liệu" khỏi "mã" về mặt kỹ thuật là bất khả thi — điều tốt nhất mà các mô hình hiện đại làm được là sự xấp xỉ của sự phân biệt đó.

LLM không suy nghĩ — khi trả lời một câu hỏi mới, chúng chạy lại một chương trình thống kê trên tất cả các token và dự đoán một nhúm tiếp theo, vì vậy việc có cửa sổ ngữ cảnh lớn hơn mang lại lợi ích (với cái giá là VRAM), do đó con số một triệu đang phổ biến hiện nay. Nhưng ngay cả các thuật toán thống kê cũng có giới hạn của chúng.

KV Cache

Nếu bạn đã tìm hiểu về việc sử dụng LLM cục bộ hoặc bằng cách chạy GPU từ xa, bạn có thể đã nghe về "KV cache" hết lần này đến lần khác và bạn cần dành riêng VRAM cho nó, hoặc lưu trữ nó trên một ổ SSD tốc độ cao nếu bắt buộc. Đây là một tập dữ liệu được tạo ra khi mô hình chạy, nhưng thực ra có thể tái sử dụng giữa các truy vấn trong cùng một phiên.

Dữ liệu được lưu và tái sử dụng có thể được mô tả là "các mối quan hệ giữa các token cho phiên này". Ví dụ, câu nói phổ biến "you're right to push back" có thể được tách token thành "you-'re-ri-ght-to-pu-sh-back". Các dấu gạch ngang giữa mỗi token đại diện cho một véc-tơ (hoặc mảng), gọi là KV viết tắt của key-value, được sử dụng để xác định token nào được chọn tiếp theo.

Vì việc tạo văn bản mang tính tuyến tính, toán học để tính toán mỗi token mới cần mọi KV đứng trước nó. Do đó, nếu bạn đang đặt câu hỏi lặp đi lặp lại trong cùng một phiên, bạn sẽ muốn các KV được tái sử dụng để tránh chi phí tính toán lại chúng hết lần này đến lần khác không chỉ với mỗi vòng hội thoại, mà còn với mỗi token bổ sung.