Python

Vì sao Python là ngôn ngữ số một của data engineer: vai trò trong pipeline (ingest/transform/orchestrate), hệ sinh thái thư viện (pandas/polars/pyarrow/sqlalchemy), quản lý môi trường (venv/uv/poetry), và khi nào dùng Python vs SQL/Spark.

Dùng pandas đúng cách cho dữ liệu thật: vectorization thay vòng lặp/apply, quản lý dtype & bộ nhớ, groupby/merge/pivot hiệu quả, xử lý thời gian, và đọc dữ liệu lớn theo chunk.

Thế hệ công cụ xử lý dữ liệu nhanh: Polars (lazy, đa luồng), Apache Arrow (định dạng cột trong bộ nhớ, zero-copy) và DuckDB (SQL analytics in-process) — khi nào chọn chúng thay pandas.

Chọn và đọc/ghi dữ liệu đúng cách: so sánh CSV/JSON/Parquet/Avro/ORC, vì sao Parquet thắng cho analytics, nén & partition, đọc/ghi từ cloud storage (S3/GCS), và xử lý file lớn theo luồng.

Làm việc với database từ Python đúng chuẩn production: driver & SQLAlchemy, kết nối an toàn & connection pool, đọc/ghi dữ liệu lớn hiệu quả (bulk load/COPY), batch upsert, và transaction.

Thu thập dữ liệu từ REST API một cách bền vững: requests vs httpx, xác thực, phân trang, xử lý rate limit & retry với backoff, async cho hàng nghìn request, webhook, và các mẫu ingestion (full vs incremental).

Làm Python nhanh và tận dụng nhiều lõi: hiểu GIL, chọn đúng giữa threading / multiprocessing / asyncio theo loại tác vụ (I/O vs CPU), profiling tìm nút thắt, tối ưu bộ nhớ, và vector hoá thay vòng lặp.

Biến script thành pipeline đáng tin cậy: cấu trúc project & packaging (uv/poetry), type hints & pydantic, kiểm thử với pytest, logging & cấu hình, đóng gói Docker, và tích hợp CI cho code dữ liệu.