AI

Vì sao tìm kiếm từ khoá bỏ sót ý nghĩa, và embedding vector giải quyết ra sao. Bài mở đầu series: độ đo tương đồng (cosine/dot/Euclidean), nearest neighbor & vì sao cần ANN, vector database là gì, các ứng dụng (semantic search, RAG, gợi ý, khử trùng) và định vị pgvector vs DB chuyên dụng.

Đào sâu embedding: sinh từ mô hình gì, chọn mô hình (chiều/đa ngôn ngữ/context/chi phí), chuẩn hoá L2 và quan hệ cosine–dot product, các phép đo khoảng cách (cosine/dot/L2/Manhattan), chunking & metadata, đánh giá recall@k/MRR/nDCG, re-embed khi đổi mô hình.

Vì sao KNN chính xác quá chậm ở quy mô triệu-tỷ vector, và các họ thuật toán ANN đánh đổi recall lấy tốc độ: cây/phân vùng (KD-tree, Annoy), hashing (LSH), lượng tử hoá (PQ, IVF-PQ), IVF, và đồ thị HNSW. Kèm bảng đánh đổi, cách tuning ef_search/nprobe, metadata filtering (pre/post-filter) và đo benchmark recall@k, QPS.

pgvector là extension thêm kiểu vector và tìm kiếm tương đồng vào PostgreSQL: giao dịch + vector + metadata trong một DB. Bài mổ xẻ toán tử khoảng cách (<->, <=>, <#>), chỉ mục IVFFlat vs HNSW, kết hợp WHERE + similarity, giới hạn và thực hành. Bối cảnh ngân hàng: RAG tra cứu chính sách ngay trên Postgres nội bộ.

Khi nào cần vector database chuyên dụng thay vì pgvector: quy mô tỷ vector, throughput cao, filtering/hybrid nâng cao. Kiến trúc chung (tách compute/storage, sharding, HNSW/IVF-PQ, quantization) và so sánh Milvus, Qdrant, Weaviate, Pinecone, Vespa, Chroma, pgvector, Elasticsearch/OpenSearch kNN. Kèm tiêu chí chọn cho ngân hàng self-host và các khái niệm vận hành.

Vì sao chỉ vector search chưa đủ với từ khoá/mã sản phẩm/số hợp đồng. Tìm kiếm lai (hybrid) kết hợp sparse (BM25) + dense (vector), cách hợp nhất RRF/weighted/convex, SPLADE, metadata filtering. Reranking bằng cross-encoder (Cohere Rerank, bge-reranker) để tăng precision cho top-K. Pipeline retrieve→rerank, đánh giá nDCG và đánh đổi độ trễ.

Retrieval là mắt xích quyết định chất lượng RAG: rác vào thì rác ra. Bài này đi sâu phần lấy tri thức — pipeline index (ingest) và query, query transformation, rerank, kỹ thuật nâng cao (parent-child, sentence-window, contextual retrieval), kiểm soát context, đánh giá RAGAS, citation và phân quyền tài liệu cho ngân hàng.

Bài tổng kết series: đưa vector search/RAG vào production ngân hàng. Cập nhật dữ liệu (incremental upsert, xoá, versioning, re-embed blue-green), scaling, monitoring, chi phí (quantization, self-host vs SaaS), bảo mật & tuân thủ (phân quyền ở retrieval, chống rò rỉ PII, audit, tự host), đánh giá liên tục, kiến trúc tham chiếu end-to-end và các use case ngân hàng.