AI

MLOps là gì và vì sao ML khác phần mềm thường — hệ thống phụ thuộc đồng thời dữ liệu, mô hình và code. Bài mở series: vòng đời ML end-to-end như một vòng lặp liên tục, technical debt ẩn, training/serving skew, drift, các mức trưởng thành MLOps (Level 0→2 theo Google), và bản đồ các trụ cột sẽ đi sâu.

Vì sao ML hay 'không tái lập được' và cách chữa: ghi lại params/metrics/artifacts/code/data/môi trường cho mỗi run bằng MLflow, so sánh và chọn run tốt nhất, pin seed/dependency/data, container hoá — để giải trình mô hình chấm điểm tín dụng với kiểm toán và thanh tra.

Feature Store giải quyết ba nỗi đau kinh điển của ML sản xuất: training-serving skew, trùng lặp công sức tính feature giữa các team, và rò rỉ nhãn tương lai do thiếu point-in-time correctness. Bài đi từ vấn đề tới kiến trúc offline/online/registry, minh hoạ bằng Feast và các query SQL as-of chạy được cho feature fraud/credit.

Biến vòng đời mô hình từ notebook thủ công thành pipeline tự động: ingest→validate→feature→train→evaluate→gate→register→deploy. Cách chọn orchestrator (Airflow/Kubeflow/Dagster/Metaflow/TFX), continuous training, và CI/CD cho ML khác gì phần mềm — thêm validate data & model gate trước khi lên prod, minh hoạ bằng pipeline retrain mô hình gian lận hàng tuần.

Model registry quản lý phiên bản mô hình đã train (version, stage None/Staging/Production/Archived, metadata, lineage, phê duyệt) — lấy MLflow làm ví dụ. Cách đóng gói mô hình kèm môi trường & signature, bốn mẫu serving (batch/online/streaming/embedded), và chiến lược roll-out an toàn: shadow, canary, blue-green, A/B, champion/challenger, rollback — minh hoạ bằng gian lận real-time và chấm điểm tín dụng batch.

Vì sao mô hình xuống cấp theo thời gian và cách phát hiện sớm: từ operational monitoring, data quality, tới data/feature drift (PSI, KL, KS, chi-square), concept drift và prediction drift. Xử lý bài toán nhãn trễ bằng proxy, theo dõi hiệu năng theo phân khúc, và nối tín hiệu drift vào trigger retrain — minh hoạ bằng giám sát PSI hàng tháng cho mô hình gian lận/tín dụng ở ngân hàng.

Vì sao ngân hàng phải quản trị mô hình chặt hơn phần mềm thường: khung Model Risk Management kiểu SR 11-7 (inventory, validation độc lập, phân tầng, phê duyệt, tái đánh giá), model card, explainability (SHAP/LIME) bắt buộc khi từ chối tín dụng, fairness & bias, quyền riêng tư theo Nghị định 13, human-in-the-loop và xu hướng EU AI Act.

Bài tổng kết series: ghép mọi trụ cột — nguồn dữ liệu, feature store, experiment tracking, pipeline train/CI-CD, model registry, serving, monitoring/drift, retrain loop — thành một kiến trúc tham chiếu MLOps hoàn chỉnh cho ngân hàng, bao quanh bởi governance/security/audit. Kèm build vs buy (OSS tự xây vs SageMaker/Vertex/Databricks/Azure ML), tổ chức đội, và hai use case xuyên suốt: phát hiện gian lận online và chấm điểm tín dụng batch.