AI

LLMOps khác MLOps thế nào (dùng mô hình nền qua API/self-host thay vì tự train → trọng tâm là prompt/RAG/đánh giá/guardrails/chi phí). Bài mở series: đặc thù khó của LLM app (non-deterministic, ảo giác, prompt injection, chi phí theo token), vòng đời ứng dụng, rủi ro đặc thù ngân hàng và triết lý safety-first, các mẫu ứng dụng theo mức rủi ro, và lộ trình 8 bài.

Phổ các mẫu kiến trúc ứng dụng LLM từ đơn giản đến phức tạp — prompt đơn, workflow chuỗi bước, RAG và agent — cùng nguyên tắc chọn cái đơn giản nhất đủ dùng. Bàn về function calling, structured output, orchestration framework, build-vs-buy, API-vs-self-host và quản lý context window trong bối cảnh ngân hàng.

Cách viết prompt cho production (system prompt rõ vai trò/giới hạn, few-shot ổn định, structured output, versioning prompt như code) và thiết kế guardrails — lớp rào chắn input/output/topical quanh LLM để trợ lý ngân hàng không lộ dữ liệu KH, không tư vấn ngoài thẩm quyền, luôn bám nguồn.

Rủi ro bảo mật đặc thù của ứng dụng LLM: prompt injection trực tiếp và gián tiếp (indirect), jailbreak, vì sao LLM không phân biệt được lệnh và dữ liệu. Điểm qua OWASP Top 10 for LLM và trình bày phòng thủ nhiều lớp cho trợ lý RAG và agent ngân hàng: least privilege, guardrails, xử lý output an toàn, human-in-the-loop.

Cách đánh giá ứng dụng LLM một cách có hệ thống thay vì cảm tính: golden set offline, feedback online, LLM-as-a-judge, human eval, rubric và RAGAS cho RAG. Phân tích ảo giác (hallucination) — vì sao xảy ra và cách giảm thiểu bằng grounding, trích nguồn, guardrail bám nguồn — cùng regression testing khi đổi prompt/model trong ngân hàng.

Giám sát ứng dụng LLM đặc thù: tracing toàn bộ request (retrieval→prompt→call→tool→output) với span từng bước, log prompt/response che PII, đo chất lượng online. Metric then chốt: token in/out, chi phí, TTFT & độ trễ, throughput, tỷ lệ lỗi, cache hit. Tối ưu chi phí: giảm token, prompt/semantic caching, model routing cascade, batching, streaming — cùng đánh đổi chất lượng–chi phí–độ trễ và đặt ngân sách cảnh báo.

Quản trị và tuân thủ khi đưa GenAI vào ngân hàng chịu quản lý chặt: mở rộng khung model risk kiểu SR 11-7 cho mô hình nền hộp đen của bên thứ ba, đưa LLM vào model inventory, phân tầng rủi ro use case, model/system card. Rủi ro đặc thù (ảo giác, thiên lệch, rò rỉ dữ liệu, IP) và giảm thiểu, EU AI Act, AI có trách nhiệm, transparency, human oversight, audit và acceptable use.

Bài tổng kết series: ghép mọi mảnh đã học thành một nền tảng GenAI ngân hàng an toàn. Kiến trúc tham chiếu end-to-end (cổng ứng dụng, orchestration, guardrails vào/ra, LLM + retrieval, trích nguồn) bao quanh bởi observability, evaluation, security, governance. Build vs buy, self-host vs API, danh mục use case theo mức rủi ro, lộ trình áp dụng, đội ngũ, cạm bẫy và checklist go-live.