Data Engineering

Bài mở đầu series: DataOps là gì (Agile + DevOps + Lean áp dụng vào vòng đời dữ liệu), vì sao ngân hàng cần nó, khác DevOps ở chỗ nào, các nguyên tắc cốt lõi, ba vòng lặp (dev, value, feedback), vai trò tổ chức và văn hoá blameless. Kèm lộ trình toàn series.

Vì sao Agile cho công việc dữ liệu khác phần mềm và cách điều chỉnh. Bài đi qua Scrum vs Kanban vs Scrumban cho data team, quản lý backlog và ưu tiên đa nguồn, user story cho analytics, definition of done cho sản phẩm dữ liệu, ước lượng việc bất định qua spike, WIP limit, cộng tác với nghiệp vụ và chống quá tải ad-hoc bằng SLA và self-service — trong bối cảnh ngân hàng.

Analytics as code: đưa mọi tài sản dữ liệu (SQL, dbt model, pipeline, notebook, cấu hình, IaC) vào Git. Mô hình branching cho analytics, code review/PR bắt lỗi logic báo cáo, versioning dữ liệu & mô hình, quy ước commit, CODEOWNERS và cách tổ chức review chặt trước khi lên production trong ngân hàng.

Kiểm thử là trái tim DataOps: bắt lỗi sớm, tự tin thay đổi. Phân biệt test CODE (unit test logic biến đổi) với test DỮ LIỆU (schema, not-null, unique, referential, range, freshness, volume). Đặt chốt test theo vị trí trong pipeline như circuit breaker, shift-left vào CI, đối soát/control totals, xử lý khi test fail — để chặn số liệu sai trước khi vào báo cáo tuân thủ.

Áp CI/CD phần mềm vào tài sản dữ liệu: mỗi PR tự chạy lint SQL, dbt compile, unit test + data test, slim CI chỉ chạy model đổi & downstream. Promote dev→staging→prod, deploy DAG/dbt như code, blue-green/rollback, secret theo môi trường, gates test-quality-approval, đo DORA cho data. Có ví dụ YAML CI và checklist ngân hàng.

Giám sát dữ liệu production bằng data observability — 5 trụ freshness, volume, schema, distribution, lineage — khác monitoring hạ tầng và khác data testing (tự học baseline, bắt bất thường chưa biết). Alerting đúng severity, quy trình incident cho dữ liệu, blameless postmortem, on-call, runbook, SLA/SLO. Có SQL observability chạy được trên sandbox.

Chống tri thức nằm trong đầu vài người và câu hỏi lặp lại: docs-as-code cập nhật cùng PR, dbt docs tự sinh, data catalog để tự phục vụ, business glossary thống nhất định nghĩa chỉ tiêu, runbook, ADR ghi quyết định. Kèm cách chống tài liệu lỗi thời, đo độ phủ, và ví dụ dbt yaml cho bối cảnh ngân hàng.

Bài tổng kết series: vai trò trong nhóm dữ liệu ngân hàng, các mô hình tổ chức (tập trung, nhúng, hub-and-spoke), self-service, đo hiệu quả bằng DORA cho data, văn hoá ownership/blameless và chống burnout, đặc thù phối hợp rủi ro/tuân thủ, cùng lộ trình trưởng thành DataOps.