Data Engineering
9 bài viết
Đọc theo series
Vì sao CDC, cơ chế redo/archive log của Oracle, so sánh GoldenGate vs Debezium (LogMiner/XStream), và lộ trình lab.
Lab: chạy Oracle bằng Docker, bật ARCHIVELOG, supplemental logging, tạo user CDC và cấp quyền cho LogMiner/GoldenGate.
Extract, Trail, Distribution/Replicat, Manager; Microservices Architecture (MA) vs Classic; integrated vs parallel Replicat.
Lab từng bước: cài GoldenGate Microservices, tạo Integrated Extract, trail, Distribution Path và Replicat để replicate Oracle→Oracle.
Lab: dùng GoldenGate for Big Data đẩy thay đổi từ trail sang Apache Kafka; Kafka Handler, format JSON/Avro, ánh xạ topic.
Lab: dựng Kafka + Kafka Connect + Debezium, cấu hình Oracle connector (LogMiner), snapshot & streaming, đọc message CDC.
Kiến trúc Kafka Connect (source/sink, worker, converter), Schema Registry (Avro/JSON Schema), SMT và sink connector JDBC.
Chọn GoldenGate hay Debezium, schema evolution, exactly-once vs at-least-once, giám sát độ trễ, bảo mật và use case ngân hàng.
Lab hoàn chỉnh với docker-compose: Oracle XE + Kafka + Connect (Debezium + JDBC sink) đồng bộ near-real-time sang Postgres, kiểm thử & dọn dẹp.