- Kafka + Kafka Connect + Debezium 서비스 구성 - PostgreSQL: wal_level=logical, replication slot, publication, CDC 유저 권한 설정 - MongoDB: replica set 구성, CDC 유저 권한 설정 - Debezium PostgreSQL 커넥터 등록 - Debezium MongoDB 커넥터 등록 - CDC 토픽 확인/네이밍 규칙 확정 - Spark Structured Streaming(또는 Kafka Connect Sink)으로 CDC 토픽 소비 - 변환 로직 적용(필터/컬럼 매핑) - 적재 대상(S3/HDFS/DB)별 upsert/partition 전략 확정 - 스키마 변경 대응 방식 결정(Avro+Schema Registry or JSON) - 모니터링/오류 처리(오프셋 관리, 재처리 정책)
