Data Engineering
8 bài viết
Đọc theo series
Apache Spark là gì và vì sao thắng MapReduce: mô hình in-memory, kiến trúc Driver–Executor–Cluster Manager, DAG & lazy evaluation, và các thành phần (Spark SQL, Structured Streaming, MLlib).
Ba tầng API của Spark: RDD (điều khiển thấp), DataFrame/Dataset (khai báo, tối ưu tự động), bộ tối ưu Catalyst và engine Tungsten, cùng transformation vs action và vai trò của schema.
Xử lý dữ liệu với Spark SQL: DataFrame API (select/filter/withColumn/groupBy/agg), join các loại, hàm dựng sẵn & window, UDF (và vì sao hạn chế), đọc/ghi phân vùng, và catalog/Hive metastore.
Hiểu nút thắt lớn nhất của Spark: shuffle là gì và vì sao đắt, narrow vs wide transformation, số partition (spark.sql.shuffle.partitions), data skew và cách xử lý, repartition vs coalesce, và Adaptive Query Execution.
Làm Spark job chạy nhanh & ổn định: mô hình bộ nhớ executor, cache/persist đúng cách, broadcast join, chỉnh số partition & AQE, xử lý spill/OOM, và cách kích cỡ executor/core hợp lý.
Xử lý dòng dữ liệu bằng Spark: mô hình unbounded table & micro-batch, đọc/ghi Kafka, event time vs processing time, watermark & windowing, output modes, checkpoint và đảm bảo exactly-once.
Đưa độ tin cậy của kho vào data lake: Delta Lake mang giao dịch ACID, time travel, schema evolution và MERGE lên file Parquet; kiến trúc medallion (bronze/silver/gold); OPTIMIZE/Z-order; so sánh Iceberg & Hudi.
Đưa Spark vào production: các cách chạy (YARN, Kubernetes, Databricks/EMR), spark-submit & cấu hình, đọc Spark UI để chẩn đoán, PySpark best practices, điều phối bằng Airflow, và các lỗi thường gặp.