Data Engineering
7 bài viết
Đọc theo series
Broker, topic, partition, offset, replication, ISR, controller; mô hình log phân tán và KRaft vs ZooKeeper.
Cơ chế gửi, key & partitioner, acks, idempotent producer, batching/linger/compression, retries và delivery semantics.
Consumer group & phân phối partition, commit offset, rebalance, delivery semantics và consumer lag.
Log segment, retention theo thời gian/dung lượng, log compaction, replication & độ bền, min.insync.replicas, tiered storage.
Framework Connect: source/sink connector, worker distributed, converter, SMT, REST API và xử lý lỗi/DLQ.
Xử lý luồng ngay trên Kafka: KStream vs KTable, stateful ops, windowing, joins, exactly-once và ksqlDB bằng SQL.
Sizing cluster, giám sát (JMX/lag), bảo mật (TLS/SASL/ACL), tối ưu hiệu năng, nâng cấp và sự cố thường gặp.