Từ điển thuật ngữ

Lĩnh vực khoa học máy tính nhằm tạo ra hệ thống có khả năng thực hiện các nhiệm vụ vốn cần trí thông minh của con người, như nhận thức, suy luận và ra quyết định.

Nhánh của AI cho phép mô hình tự học quy luật từ dữ liệu thay vì được lập trình tường minh từng bước. Mô hình cải thiện hiệu năng khi có thêm dữ liệu.

Nhánh của machine learning sử dụng mạng nơ-ron nhiều tầng để tự động học các đặc trưng phức tạp từ dữ liệu thô như ảnh, âm thanh hay văn bản.

Phương pháp huấn luyện mô hình trên dữ liệu đã được gán nhãn, để mô hình học cách ánh xạ từ đầu vào sang đầu ra mong muốn.

Phương pháp huấn luyện trên dữ liệu chưa gán nhãn, nhằm khám phá cấu trúc hoặc nhóm ẩn bên trong dữ liệu, ví dụ gom cụm hay giảm chiều.

Phương pháp học trong đó tác tử học cách hành động qua thử-sai, nhận phần thưởng hoặc hình phạt từ môi trường nhằm tối đa hóa phần thưởng tích lũy.

Hai loại bài toán học có giám sát: phân loại dự đoán nhãn rời rạc (đạt/không đạt), còn hồi quy dự đoán giá trị số liên tục (giá nhà, số tiền).

Kỹ thuật học không giám sát nhóm các điểm dữ liệu tương tự nhau thành các cụm dựa trên độ giống nhau, không cần nhãn cho trước.

Biến đầu vào hoặc thuộc tính đo lường được của dữ liệu mà mô hình dùng làm tín hiệu để học và dự đoán.

Giá trị đầu ra đúng đi kèm với mỗi mẫu dữ liệu trong học có giám sát, là mục tiêu mà mô hình học cách dự đoán.

Quá trình mô hình điều chỉnh tham số dựa trên dữ liệu huấn luyện để học được quy luật và giảm thiểu sai số.

Giai đoạn sử dụng mô hình đã huấn luyện để đưa ra dự đoán trên dữ liệu mới chưa từng thấy.

Biểu diễn toán học đã học từ dữ liệu, gồm cấu trúc và các tham số, dùng để ánh xạ đầu vào sang đầu ra dự đoán.

Các giá trị nội tại của mô hình được học và điều chỉnh trong quá trình huấn luyện, quyết định cách biến đổi đầu vào thành đầu ra.

Một loại tham số trong mạng nơ-ron xác định mức độ ảnh hưởng của một đầu vào lên đầu ra của nơ-ron, được cập nhật liên tục khi huấn luyện.

Hàm đo độ chênh lệch giữa dự đoán của mô hình và giá trị thực tế; mục tiêu huấn luyện là cực tiểu hóa giá trị hàm này.

Thuật toán tối ưu lặp cập nhật tham số mô hình theo hướng ngược với gradient của hàm mất mát để giảm sai số dần dần.

Một lượt mô hình duyệt qua toàn bộ tập dữ liệu huấn luyện. Thường cần nhiều epoch để mô hình hội tụ.

Một nhóm nhỏ mẫu dữ liệu được xử lý cùng lúc trong một bước cập nhật tham số, giúp cân bằng giữa tốc độ và độ ổn định khi huấn luyện.

Hiện tượng mô hình học quá kỹ dữ liệu huấn luyện kể cả nhiễu, khiến hoạt động tốt trên tập huấn luyện nhưng kém trên dữ liệu mới.

Hiện tượng mô hình quá đơn giản nên không nắm bắt được quy luật, dẫn đến hiệu suất kém cả trên dữ liệu huấn luyện lẫn dữ liệu mới.

Kỹ thuật chia dữ liệu thành tập huấn luyện để học, tập kiểm định để tinh chỉnh siêu tham số, và tập kiểm tra để đánh giá khách quan hiệu suất cuối cùng.

Các thiết lập do người dùng chọn trước khi huấn luyện, ví dụ tốc độ học, kích thước batch hay số tầng, và không được học từ dữ liệu.

Quá trình tạo, biến đổi và chọn lọc đặc trưng từ dữ liệu thô nhằm tăng khả năng học và hiệu quả của mô hình.

Lỗi khi thông tin từ tập kiểm tra hoặc tương lai vô tình lọt vào quá trình huấn luyện, khiến đánh giá hiệu suất bị thổi phồng sai lệch.

Mô hình tính toán lấy cảm hứng từ não bộ, gồm các nơ-ron nhân tạo kết nối thành nhiều tầng, có khả năng học các quan hệ phi tuyến phức tạp.

Kiến trúc mạng nơ-ron dùng phép tích chập để tự động trích xuất đặc trưng không gian, rất hiệu quả cho xử lý ảnh và thị giác máy tính.

Kiến trúc mạng nơ-ron xử lý dữ liệu tuần tự bằng cách giữ trạng thái nội bộ qua các bước thời gian, phù hợp cho chuỗi như văn bản và tín hiệu thời gian.

Kiến trúc mạng nơ-ron dựa trên cơ chế attention, xử lý song song toàn bộ chuỗi và là nền tảng của hầu hết các mô hình ngôn ngữ lớn hiện đại.

Cơ chế cho phép mô hình tập trung trọng số khác nhau lên các phần của đầu vào tùy theo mức độ liên quan với ngữ cảnh hiện tại.

Biểu diễn dữ liệu (từ, câu, ảnh) dưới dạng vector số nhiều chiều, sao cho các đối tượng có ý nghĩa tương tự nằm gần nhau trong không gian vector.

Mô hình ngôn ngữ có số lượng tham số rất lớn, được huấn luyện trên khối lượng văn bản khổng lồ, có khả năng hiểu và sinh ngôn ngữ tự nhiên cho nhiều tác vụ.

Đơn vị văn bản cơ bản mà mô hình ngôn ngữ xử lý, có thể là một từ, một phần của từ hoặc một ký tự. Chi phí và giới hạn của LLM thường tính theo số token.

Quá trình tách văn bản thô thành chuỗi token để mô hình ngôn ngữ có thể xử lý.

Đoạn văn bản đầu vào do người dùng cung cấp để hướng dẫn hoặc yêu cầu mô hình ngôn ngữ tạo ra phản hồi mong muốn.

Kỹ thuật thiết kế và tinh chỉnh prompt sao cho mô hình ngôn ngữ trả về kết quả chính xác và phù hợp nhất.

Cách hướng dẫn mô hình bằng cách đưa vào prompt một vài ví dụ minh họa để mô hình hiểu định dạng và mục tiêu của tác vụ trước khi trả lời.

Cách yêu cầu mô hình thực hiện tác vụ chỉ dựa trên mô tả bằng ngôn ngữ tự nhiên, không cung cấp ví dụ minh họa nào trong prompt.

Quá trình huấn luyện tiếp một mô hình đã được tiền huấn luyện trên dữ liệu chuyên biệt để mô hình thích nghi tốt hơn với một lĩnh vực hoặc tác vụ cụ thể.

Lượng token tối đa mà mô hình ngôn ngữ có thể xử lý cùng lúc, gồm cả đầu vào và đầu ra. Vượt quá giới hạn này mô hình sẽ không thấy được nội dung cũ.

Tham số điều khiển mức độ ngẫu nhiên khi mô hình sinh văn bản; giá trị thấp cho kết quả nhất quán, giá trị cao cho kết quả đa dạng và sáng tạo hơn.

Phương pháp lấy mẫu chỉ chọn trong tập token có tổng xác suất tích lũy đạt ngưỡng p, giúp cân bằng giữa độ đa dạng và độ hợp lý của đầu ra.

Hiện tượng mô hình ngôn ngữ tạo ra thông tin nghe có vẻ hợp lý nhưng sai sự thật hoặc không có căn cứ trong dữ liệu nguồn.

Kỹ thuật cho LLM truy hồi tài liệu liên quan từ kho dữ liệu rồi sinh câu trả lời dựa trên ngữ cảnh đó, giúp tăng độ chính xác và giảm bịa đặt.

Cơ sở dữ liệu chuyên lưu trữ và tìm kiếm các vector nhúng theo độ tương đồng, là thành phần cốt lõi của các hệ thống RAG và tìm kiếm ngữ nghĩa.

Hệ thống dùng mô hình ngôn ngữ để tự lập kế hoạch, ra quyết định và gọi công cụ nhằm hoàn thành một mục tiêu qua nhiều bước, thay vì chỉ trả lời một lần.

Khả năng cho phép mô hình ngôn ngữ yêu cầu thực thi các hàm hoặc công cụ bên ngoài (tra cứu, tính toán, API) và dùng kết quả để hoàn thiện câu trả lời.

Giao thức mở chuẩn hóa cách các ứng dụng cung cấp ngữ cảnh, công cụ và dữ liệu cho mô hình ngôn ngữ, giúp tích hợp LLM với hệ thống bên ngoài một cách nhất quán.

Tỷ lệ số dự đoán đúng trên tổng số dự đoán. Là chỉ số đơn giản nhưng có thể gây hiểu nhầm khi dữ liệu mất cân bằng giữa các lớp.

Tỷ lệ số dự đoán dương đúng trên tổng số trường hợp được dự đoán là dương, cho biết mức độ đáng tin của các dự đoán dương tính.

Tỷ lệ số trường hợp dương được phát hiện đúng trên tổng số trường hợp dương thực tế, cho biết khả năng mô hình không bỏ sót.

Trung bình điều hòa của precision và recall, cho một chỉ số duy nhất cân bằng giữa hai đại lượng, hữu ích khi dữ liệu mất cân bằng.

Bảng đối chiếu giữa nhãn thực và nhãn dự đoán, thống kê số trường hợp dương đúng, âm đúng, dương sai và âm sai, dùng đánh giá chi tiết bài toán phân loại.

Tập hợp thực hành và công cụ để triển khai, giám sát, quản lý phiên bản và vận hành mô hình machine learning trong môi trường sản xuất một cách tin cậy.

Bộ xử lý có nhiều lõi tính toán song song, rất hiệu quả cho các phép tính ma trận trong huấn luyện và suy luận của mô hình học sâu.