AI

Nền tảng để xây app LLM thực tế: LLM hoạt động thế nào (token, context window, sampling), gọi Claude qua Anthropic SDK, chọn model đúng, và khi nào dùng LLM vs giải pháp truyền thống.

Kỹ thuật viết prompt hiệu quả cho Claude: system vs user, hướng dẫn rõ ràng, few-shot, chain-of-thought, dùng thẻ XML để cấu trúc, prefill, và ép định dạng đầu ra (structured output/JSON).

Nền tảng của tìm kiếm ngữ nghĩa và RAG: embedding là gì, độ đo tương đồng (cosine), tạo embedding (Voyage AI/mô hình mở), lưu & truy vấn trong pgvector, chiến lược chunking, và ANN index (HNSW).

Cho LLM trả lời dựa trên dữ liệu riêng: kiến trúc RAG (ingest → chunk → embed → retrieve → generate), hybrid search & reranking, trích dẫn nguồn, và các mẫu nâng cao cùng lỗi thường gặp.

Cho Claude 'hành động': khai báo tool (function calling), vòng lặp agent (model gọi tool → nhận kết quả → tiếp tục), khi nào cần agent, Model Context Protocol (MCP), và các mẫu điều phối an toàn.

Vì sao 'chạy thử thấy ổn' là chưa đủ: xây bộ eval (dataset + tiêu chí), các cách chấm điểm (exact/heuristic, LLM-as-judge), đo hallucination & faithfulness, đánh giá riêng retrieval của RAG, và eval trong CI.

Vận hành app LLM thật: tối ưu chi phí & độ trễ (chọn model, streaming, prompt caching, batch), giới hạn tốc độ & retry, guardrails & chống prompt injection, quan sát/logging, và bảo mật dữ liệu.

Ba con đường tuỳ biến LLM và khi nào dùng cái nào: prompt engineering, RAG (thêm kiến thức), fine-tuning (thay đổi hành vi); kèm distillation, mô hình nhỏ, và một cây quyết định thực dụng.