Data Engineering

FinOps là thực hành quản trị tài chính cho cloud — trách nhiệm chung giữa kỹ thuật, tài chính và kinh doanh. Bài mở màn giải thích vì sao chi phí dữ liệu dễ mất kiểm soát, vòng lặp INFORM → OPTIMIZE → OPERATE, cơ cấu chi phí nền tảng dữ liệu, phân bổ qua tagging/showback, unit economics và lộ trình cả series dưới góc nhìn ngân hàng.

Kho dữ liệu đám mây thường là khoản chi lớn nhất của team dữ liệu. Bài này phân tích hai mô hình tính phí — theo dữ liệu quét (BigQuery) và theo thời gian compute (Snowflake) — cùng đòn bẩy tối ưu tương ứng: partitioning, clustering, chọn cột, warehouse sizing, auto-suspend, incremental và phân tích query đắt qua ACCOUNT_USAGE.

Tối ưu chi phí lưu trữ dữ liệu trên cloud: phân tầng hot/warm/cold/archive theo tần suất truy cập, chọn định dạng cột (Parquet/ORC) và codec nén, phân vùng và bố cục file, lifecycle policy theo vòng đời, dọn dữ liệu trùng/bỏ quên, chi phí egress và OPTIMIZE/vacuum trên table format hiện đại.

Tối ưu chi phí compute cho pipeline dữ liệu: right-sizing máy/cluster, dùng spot/preemptible cho batch, autoscaling và scale-to-zero, reserved/savings plan cho tải ổn định; tối ưu Spark (giảm shuffle/skew, pruning, cache đúng); lịch chạy incremental thay full, tắt dev ngoài giờ, idle timeout, serverless vs cluster và dọn tài nguyên zombie.

Đặc thù chi phí của hệ thống thời gian thực chạy 24/7: broker Kafka (compute, storage, retention, replication, partition, nén, tiered storage, managed vs self-host), stream processing (parallelism, state, checkpoint, autoscaling), đánh đổi độ trễ vs chi phí, và nguyên tắc chỉ dùng real-time cho use case thực sự cần.

Pha OPERATE của FinOps: vận hành và giám sát chi phí liên tục. Bài này đi từ visibility (billing export, phân bổ theo tag/domain, dashboard, phân rã xu hướng), qua budget và cảnh báo ngưỡng/forecast, tới phát hiện bất thường chi phí bằng baseline thống kê/ML, điều tra nguyên nhân, KPI FinOps và bộ công cụ — dưới góc nhìn nền tảng dữ liệu ngân hàng.

Tối ưu chi phí khi chạy workload dữ liệu (Spark/Flink/Airflow/Trino/API) trên Kubernetes. Bài này đi qua vì sao chi phí K8s khó nhìn, right-sizing request/limit, bin-packing, ba tầng autoscaling (HPA/VPA/Cluster Autoscaler/Karpenter), spot node cho batch, chọn node đúng, quota namespace, dọn tài nguyên mồ côi, và quy chi phí về team bằng OpenCost/Kubecost — góc nhìn nền tảng dữ liệu ngân hàng.

Bài tổng kết series: gộp mọi đòn bẩy tối ưu (warehouse, storage, compute, streaming, monitoring, K8s) thành bảng vấn đề → đòn bẩy → mức tiết kiệm; quy trình triển khai Crawl → Walk → Run, lập tổ và vai trò, ưu tiên theo tác động, tránh tối ưu quá đà, cân bằng chi phí – hiệu năng – tuân thủ, showback/chargeback, KPI, đặc thù ngân hàng và checklist FinOps.