현재 사내에서  cdc 데이터 파이프라인을 구축하고 있는데, 마침 if(kakaoAI)2024에서 동일한 주제의 발표가 있어서대용량 데이터베이스 동기화를 위한 최적의 CDC 시스템 구축기 세션의 발표를 요약해보았다.목차  1. CDC- CDC(Change Data Capture) 는 데이터베이스에서 발생하는 변경사항(삽입,수정,삭제)을 실시간으로 추적하고 기록하는 기술- 일반적으로 주기적으로 쿼리를 실행하여 변경사항을 추출하는 쿼리 기반 CDC방법과, 트랙잭션 로그를 실시간으로 읽으며 변경사항을 추출하는 로그 기반 방법이 있는데, 매번 DB에 풀 스캔 쿼리를 발생시키면 DB에 부하를 발생시키므로 로그 기반 방법을 사용한다- 일반적인 CDC의 사용 사례는 아래와 같다  2. Debezium - 스냅샷 ->..

: 테이블 백업 용도로 snapshot 과 backup file을 gcs에 내려서 보관하는 방법을 비교하여 채택함. data 추출 방법 압축 결과 parquet 파일을 ZSTD로 압축한것이 용량과 압축속도 면에서 우수함. 차지하는 storage 용량은 backup files로 저장하는것이 적으나, bigquery 테이블에서 snapshot을 새로 뜨는것에 추가비용이 발생하지 않는다는 점을 확인함. snapshot은 기록을 기본 default 설정으로 7일간 보관할 수 있고, bigquery time travel 을 사용해서 7일전 테이블 데이터에 액세스 가능하다는 점이 용이하다고 판단. 보관 대상 리스트에 있는 테이블 snapshot이 떠지도록 예약쿼리 설정하여 사용하기로함. 출처: https://clo..