Data Engineering

Databricks là gì và vì sao là nền tảng dữ liệu & AI thống nhất: kiến trúc lakehouse, mô hình control plane vs data plane, các thành phần workspace (cluster, job, SQL warehouse, Unity Catalog), medallion architecture, và định vị so với Snowflake, Spark tự quản trong bối cảnh ngân hàng.

Đi sâu vận hành Delta Lake: transaction log _delta_log là trái tim mang ACID lên object storage; time travel, schema enforcement/evolution, MERGE/UPDATE/DELETE, Change Data Feed; OPTIMIZE, Z-Order, liquid clustering, VACUUM, data skipping; constraint, UniForm và so sánh Iceberg/Hudi cho bảng giao dịch ngân hàng.

Mô hình compute của Databricks: Databricks Runtime (DBR), all-purpose vs job cluster vs SQL warehouse vs serverless, cấu hình cluster (autoscaling, spot, auto-termination, pool), engine Photon vectorized C++, access mode Unity Catalog, và tối ưu chi phí theo DBU cho ETL đêm và phân tích tương tác trong ngân hàng.

Điều phối và pipeline trên Databricks: Workflows (job nhiều task, DAG, trigger, retry, job cluster) và Delta Live Tables — framework khai báo cho ETL với streaming table, materialized view, expectations kiểm chất lượng, Auto Loader, medallion và APPLY CHANGES INTO cho CDC. Kèm ví dụ SQL/Python và pipeline giao dịch ngân hàng bronze→silver→gold.

Unity Catalog — lớp quản trị dữ liệu & AI thống nhất của Databricks: không gian tên 3 cấp catalog.schema.object, metastore gán vào nhiều workspace, GRANT/REVOKE kế thừa theo cấp, row filter/column mask, lineage tự động, audit log, data discovery và Delta Sharing. Vì sao đây là điểm kiểm soát quyền + audit + lineage cho tuân thủ NĐ13/NHNN ở ngân hàng.

Databricks SQL (DBSQL) mang trải nghiệm data warehouse/BI lên lakehouse: phân tích SQL độ trễ thấp trực tiếp trên bảng Delta, không cần copy sang warehouse riêng. Bài đi qua SQL warehouse (classic/pro/serverless, sizing, auto-scaling, multi-cluster, Photon), SQL editor, query history/profile, dashboard & alert bản địa, kết nối BI ngoài (Power BI/Tableau/Superset), tối ưu cho báo cáo và chi phí DBU.

Năng lực machine learning của Databricks trên nền lakehouse hợp nhất: làm feature, train, đăng ký và serve mô hình trên cùng một nền, không di chuyển dữ liệu. Đi sâu MLflow (tracking, autolog, Model Registry trong Unity Catalog), Feature Engineering trong UC với point-in-time lookup, Model Serving serverless, AutoML và MLOps. Ví dụ PySpark/MLflow, sơ đồ vòng đời mô hình gian lận/tín dụng trong ngân hàng.

Bài tổng kết: vận hành Databricks trong ngân hàng — môi trường dev/staging/prod, IaC bằng Asset Bundles/Terraform, CI/CD, cluster policy; kiểm soát chi phí theo mô hình DBU; bảo mật & tuân thủ NĐ13/NHNN (data plane trong VPC, private link, CMK, Unity Catalog); migration lên lakehouse; và khi nào chọn Databricks vs Snowflake vs Spark tự quản. Kèm sơ đồ triển khai và bản đồ 8 bài.