Data Engineering

Bài mở đầu series: data governance là gì, vì sao ngân hàng bắt buộc phải có, khung DAMA-DMBOK với 11 lĩnh vực tri thức, phân biệt các vai trò Owner/Steward/Custodian/Consumer, operating model và cách đo governance bằng KPI.

Đi sâu vào metadata (technical/business/operational), data catalog và business glossary, cùng data lineage ở mức bảng và cột. Giải thích cách thu thập lineage (parse SQL, dbt/Airflow, OpenLineage), so sánh công cụ (OpenMetadata, DataHub, Amundsen, Collibra, Alation) và quy trình vận hành catalog trong ngân hàng.

Sáu chiều chất lượng dữ liệu với ví dụ ngân hàng, cách định nghĩa DQ rule và ngưỡng, kiểm thử tự động bằng dbt tests và Great Expectations, đối soát số dư nguồn–DW, data profiling, DQ scorecard và quy trình xử lý data incident kèm data contract.

Phân loại dữ liệu theo 4 mức nhạy cảm, phân biệt dữ liệu cá nhân cơ bản vs nhạy cảm theo Nghị định 13/2023, quét PII tự động bằng regex/ML và gán nhãn làm nền cho masking, kiểm soát truy cập. Kèm SQL chạy được để phát hiện dữ liệu giống PII trên sandbox.

Ba lớp phòng thủ dữ liệu nhạy cảm ngân hàng: mã hóa at-rest/in-transit và quản lý khóa qua KMS/HSM/envelope encryption; data masking tĩnh vs động; tokenization để giảm phạm vi PCI-DSS. So sánh khi nào dùng cái nào, kèm SQL che số tài khoản chạy được trên sandbox.

Nguyên tắc least privilege và need-to-know, phân biệt RBAC vs ABAC, column-level và row-level security bằng VIEW, Segregation of Duties, quy trình cấp/thu hồi/recertify quyền và mô hình grant qua role trên data warehouse. Kèm SQL chạy được minh hoạ che cột và lọc dòng trên sandbox.

Giải thích Nghị định 13/2023/NĐ-CP về bảo vệ dữ liệu cá nhân (PDPD) dưới góc nhìn đội dữ liệu ngân hàng: phạm vi, phân loại dữ liệu cơ bản vs nhạy cảm, các nguyên tắc xử lý, quyền của chủ thể dữ liệu, đánh giá tác động và chuyển dữ liệu ra nước ngoài. Liên hệ nghĩa vụ theo NHNN và so sánh với GDPR, làm rõ trách nhiệm data team về consent, mục đích và lineage.

Bài cuối series: vòng đời dữ liệu 5 giai đoạn, chính sách retention theo loại dữ liệu và pháp luật (chứng từ ngân hàng lưu tối thiểu 10 năm), tiering hot/warm/cold, dung hoà right to be forgotten với nghĩa vụ lưu trữ bằng anonymization, audit logging bất biến và giám sát truy cập bất thường. Kết lại bằng operating model và bộ KPI đo governance.