Data Engineering

Vì sao kiến trúc dữ liệu tập trung nghẽn ở quy mô lớn, Data Mesh là gì và 4 nguyên tắc nền tảng (domain ownership, data as a product, self-serve platform, federated governance). Phân biệt mesh với lake/warehouse/lakehouse/fabric và gỡ các hiểu lầm phổ biến.

Đào sâu nguyên tắc số 1 của Data Mesh — phi tập trung quyền sở hữu theo domain nghiệp vụ. Áp dụng bounded context và domain-driven design cho dữ liệu, phân loại ba kiểu data domain (source-aligned, aggregate, consumer-aligned), mô hình sở hữu trọn vòng đời với data engineer nhúng trong domain, và cấu trúc team theo Team Topologies. Bối cảnh ngân hàng: Thẻ, Tín dụng, Thanh toán, Huy động và bài toán dữ liệu khách hàng dùng chung.

Nguyên tắc thứ hai của Data Mesh: coi dữ liệu như một sản phẩm có khách hàng thật, không phải phụ phẩm của pipeline. Bài này định nghĩa data product như đơn vị kiến trúc đóng gói (dữ liệu + metadata + code + contract + hạ tầng), phân tích tám tính chất DATSIS, output/input ports, SLO chất lượng, vai trò Data Product Owner, và vòng đời/versioning — với ví dụ 'Khách hàng 360' và 'Giao dịch thẻ' trong ngân hàng.

Data contract là thoả thuận có phiên bản giữa producer và consumer về hình dạng & chất lượng dữ liệu — chống 'silent breakage' khi schema nguồn đổi âm thầm làm vỡ downstream. Bài này mổ xẻ thành phần của một contract, quy tắc schema evolution (backward/forward/full), cách enforce trong CI/CD, schema registry cho streaming, và vai trò contract như 'API' của data product.

Nguyên tắc thứ ba của Data Mesh: nền tảng dữ liệu tự phục vụ (self-serve data platform) giúp domain tự chủ tạo và vận hành data product mà không cần chuyên gia hạ tầng riêng. Bài này phân tích vì sao cần platform như một sản phẩm nội bộ, các nhóm năng lực nền tảng phải cung cấp, khái niệm paved road/golden path, ranh giới trách nhiệm platform vs domain, và cách tránh biến nền tảng thành nút thắt mới — với bối cảnh ngân hàng.

Nguyên tắc thứ tư của Data Mesh: federated computational governance — cân bằng giữa tự chủ của domain và chuẩn chung toàn tổ chức. Bài này phân tích mô hình hội đồng liên bang, cách phân định quyết định global vs local, và tinh thần computational: nhúng chính sách thành code tự động thực thi trên nền tảng thay vì tài liệu duyệt tay — với bối cảnh tuân thủ ngân hàng Việt Nam (NHNN, Nghị định 13).

Bức tranh công nghệ hiện thực hoá kiến trúc dữ liệu hiện đại và data mesh: các lớp của Modern Data Stack (ingestion, storage/compute, transformation, orchestration, streaming, catalog, observability, reverse ETL, BI, semantic layer) cùng công cụ tiêu biểu. Bài này giải thích vì sao ELT là mẫu chủ đạo, lakehouse hội tụ lake với warehouse, cách các mảnh công nghệ bản đồ vào 4 nguyên tắc mesh, cảnh báo modern data stack không tự thành data mesh, và cách chọn stack cho ngân hàng on-prem tuân thủ.

Bài tổng kết và thực chiến của series: khi nào NÊN và khi nào KHÔNG nên chọn data mesh, lộ trình áp dụng theo giai đoạn (thí điểm → nền tảng → governance liên bang → mở rộng), điều kiện tiên quyết, các anti-pattern chết người, cách đo lường thành công, và những thách thức riêng của ngân hàng Việt Nam (tuân thủ NHNN, dữ liệu nhạy cảm, core legacy) cùng cách kết hợp mesh với lakehouse/warehouse hiện có.