Data Engineering

Data Engineering là gì, vai trò trong vòng đời dữ liệu, và bức tranh hệ sinh thái công cụ.

CSV/JSON/Parquet/Avro, lưu trữ theo hàng vs cột, nén, và OLTP vs OLAP.

ETL vs ELT, thiết kế data pipeline, Airflow/DAG, batch vs streaming và idempotency.

Vì sao xử lý phân tán, mô hình Spark (RDD/DataFrame), lazy evaluation, shuffle và tối ưu.

Streaming vs batch, Apache Kafka (topic/partition/consumer group), exactly-once và stream processing.

Định lý CAP, nhất quán (consistency), partitioning, replication và đánh đổi trong hệ phân tán.

Phân biệt Data Warehouse, Data Lake và Lakehouse; table format (Delta/Iceberg) và medallion architecture.

Data governance, chất lượng dữ liệu, lineage & catalog, và bảo mật/quyền riêng tư (PII, GDPR).

dbt cho ELT: model, materialization, test, documentation, lineage và phát triển warehouse như phần mềm.

Kimball vs Inmon vs Data Vault, fact các loại, SCD chi tiết, grain, surrogate key và mô hình hoá cho ngân hàng.

So sánh Snowflake, BigQuery, Databricks, Redshift; tách compute–storage, MPP, pricing và cách chọn.

Change Data Capture (Debezium), streaming ETL, Lambda vs Kappa, exactly-once và đồng bộ core→warehouse realtime.