Data Engineering

Vì sao đám mây thay đổi cách làm dữ liệu: co giãn, trả theo dùng, managed service, tách compute-storage. Bài mở đầu điểm qua mô hình IaaS/PaaS/SaaS, bản đồ dịch vụ dữ liệu của AWS/Azure/GCP, mô hình trách nhiệm chia sẻ, region/AZ, data residency, và bài toán cloud vs on-prem vs hybrid trong ngân hàng Việt Nam.

Các loại lưu trữ cloud và vai trò trong data lake/lakehouse: object storage (S3/ADLS/GCS) làm nền, khái niệm bucket-key-object, storage class và tiering, block vs file storage, tính nhất quán, durability, hiệu năng prefix, bảo mật at-rest, versioning/replication/object lock và tích hợp warehouse/engine.

Sáu họ compute trên cloud cho dữ liệu: VM/IaaS, container & Kubernetes, serverless functions, managed Spark (EMR/Dataproc/Databricks), serverless query (Athena/BigQuery/Redshift Serverless) và managed streaming. Nguyên tắc chọn theo batch/interactive/streaming/event-driven, tách compute-storage, spot/preemptible, auto-scaling và khởi động nguội. Bảng ánh xạ AWS/GCP/Azure và cây quyết định.

Mạng và bảo mật cho nền tảng dữ liệu cloud — cực quan trọng với ngân hàng. VPC/subnet public-private, route table, NAT/internet gateway, security group, private link/private endpoint. IAM với least privilege, role và temporary credentials thay key tĩnh. Mã hoá at-rest/in-transit, KMS, secrets manager, block public access, audit log. Bảng ánh xạ IAM/VPC/KMS ba cloud và defense-in-depth.

Bản đồ dịch vụ dữ liệu managed trên AWS/Azure/GCP theo từng lớp pipeline: ingestion, streaming, data lake, warehouse, transform, orchestration, catalog & governance, BI, ML. Bảng ánh xạ 3 cloud, nguyên tắc chọn managed vs tự quản (đánh đổi kiểm soát/chi phí/lock-in), serverless-first để nhỏ đội vận hành trong bối cảnh ngân hàng.

Quản lý hạ tầng dữ liệu cloud như CODE thay vì click tay: vì sao cần Infrastructure as Code, declarative vs imperative, Terraform (provider/resource/state/plan/apply/module). Landing zone multi-account, CI/CD & GitOps cho hạ tầng, tagging chuẩn, quản lý state/secret an toàn, policy as code. Bối cảnh ngân hàng NCB: tái lập, tuân thủ, tránh cấu hình sai gây lộ dữ liệu.

Vận hành nền tảng dữ liệu cloud tốt qua lăng kính Well-Architected Framework (6 trụ). Đi sâu hai trụ: độ tin cậy (multi-AZ vs multi-region, disaster recovery với RTO/RPO, bốn chiến lược DR, thiết kế chịu lỗi, SLA/SLO) và chi phí (right-size, spot, savings plan, tiering, tag/showback). Bối cảnh ngân hàng: tin cậy 24/7 có DR, tối ưu chi phí trong ràng buộc tuân thủ.

Bài tổng kết series: ghép mọi mảnh thành kiến trúc tham chiếu nền tảng dữ liệu cloud ngân hàng — nguồn, ingestion/CDC, data lake, lakehouse (bronze/silver/gold), serving, BI/ML/API, bao quanh bởi mạng riêng, IAM/KMS, governance, IaC, FinOps, DR. Bàn landing zone, tuân thủ & data residency (NĐ13, NHNN), hybrid, migration 6R và checklist go-live.