현재 사내에서  cdc 데이터 파이프라인을 구축하고 있는데, 마침 if(kakaoAI)2024에서 동일한 주제의 발표가 있어서대용량 데이터베이스 동기화를 위한 최적의 CDC 시스템 구축기 세션의 발표를 요약해보았다.목차  1. CDC- CDC(Change Data Capture) 는 데이터베이스에서 발생하는 변경사항(삽입,수정,삭제)을 실시간으로 추적하고 기록하는 기술- 일반적으로 주기적으로 쿼리를 실행하여 변경사항을 추출하는 쿼리 기반 CDC방법과, 트랙잭션 로그를 실시간으로 읽으며 변경사항을 추출하는 로그 기반 방법이 있는데, 매번 DB에 풀 스캔 쿼리를 발생시키면 DB에 부하를 발생시키므로 로그 기반 방법을 사용한다- 일반적인 CDC의 사용 사례는 아래와 같다  2. Debezium - 스냅샷 ->..

글또 10기  글또 10기 합류와 함께 오랜만에 나의 블로그를 찾게 되었다. 요즘 다른 개발자분들 포트폴리오나 이력서보면 블로그를 꾸준히 쓰시는 분들이 많은데, 그런 성실한 분들이 많다는거에 항상 감탄한다.신입때부터 당장에 내게 할당된 일들을 처리하는 것에 급급해서 내가 수행한 업무에 대해 정리하는것을 후순위로 미뤄왔었는데세살 버릇 여든까지 간다고 요즘은 글로 정리하는 것을 미루는  안좋은 버릇이 생긴다고 느끼고 다시 글또10기를 찾게 되었다! 2023년 하반기와 2024년 상반기에 대한 짧은 회고 2023년 11월 기존에 다니던 회사는 데이터에 기반한 서비스가 많지 않아 DW이관 적재 운영에만 그치던 업무 범위에 아쉬움을 느끼게되었고, 이런 아쉬움을 해소하기 위해 it서비스회사로 이직을 하게되었다. 새..

2023년의 절반이 지났다. 매일 뭔가 해프닝이 있었고, 내가 고민하던 것들이 있었고, 힘들었거나 보람찬 순간을 느꼈던 점들이 있었을텐데 이런 순간들을 되돌아보고 싶어 월마다 어떤일이 있었는 지 정리해보려 한다.  >- 작년 업무에 대한 성과 발표, 조직개편으로 한창 마음이 뒤숭숭하던 월초 - 작년 1년동안 구축한 ERP 파이프라인을 PRD로 전환하던 시기였다.- 파이프라인 운영업무에 참여하면서, grafana로 만들었던 모니터링 대쉬보드를 -> datadog 으로 전환하는 작업을 했다.- 데이터검증, 모니터링 대쉬보드 구축,  ETL ALERT api 기능개발- 같이 입사한 다른 개발 동기의 퇴사로 마음이 또 한번 뒤숭숭 >- 팀에서 누적되어가는 데이터에 대한 lifecycle을 관리하는 것에 관심을 ..

쿠버네틱스에 대한 호기심이 왕성해지던 시기에 googlecloud 에서 진행하는 스터디를 알게되어 신청하게되었다. https://sites.google.com/view/2023-study-jam/%EC%BF%A0%EB%B2%84%EB%84%A4%ED%8B%B0%EC%8A%A4-%EC%9E%85%EB%AC%B8?authuser=0 2023 클라우드 스터디 잼 클라우드 스터디 잼 쿠버네티스 입문 sites.google.com 해당 스터디를 신청하면 이메일로 안내가 오는데 gcloud에서 실습해볼수 있는 쿠폰과 수료조건이 설명되어있다. 1.Introduction to Docker 먼저 Docker의 필수 요소를 학습한 후에 Kubernetes 및 컨테이너화된 애플리케이션 개발을 공부한다. 요약: Docker ..

몽고 DB란? MongoDB는 유연하고 확장 가능한 방식으로 대량의 데이터를 저장하고 관리하도록 설계되었다. 선택적 스키마가 있는 JSON 과 같은 문서 형식으로 데이터를 저장하는 문서 지향 데이터 모델로, 스키마를 쉽게 수정할 수 있어 유연성이 향상되고 개발 시간이 단축할 수 있다. 몽고DB와 RDBMS 의 주요 차이점 - 데이터 모델: 주요 차이점은 데이터를 저장하고 구성하는 방법이다. MongoDB는 schema-free 한 구조이기에 JSON과 유사한 문서에 데이터를 저장하는, 문서 지향 데이터 모델을 사용함. 반면 RDBMS는 고정된 스키마가 있는 테이블에 저장되는 테이블 형식 데이터 모델을 사용한다. - 확장성 : MongoDB는 하드웨어 업데이트 없이 확장되는 데이터 읽기/쓰기 처리가 가능하..

팩트 테이블 - 시계열 데이터 축적하기 팩트 테이블의 작성에는 '치환', '추가' 의 두가지 방법이 있다. 추가는 새로 도착한 데이터만을 증분으로 추가한다. 한편, 치환은 과거의 데이터를 포함하여 테이블 전체를 치환 한다. 테이블 파티셔닝 -물리적인 파티션으로 분할 효율만 생각하면 '추가'가 압도적 으로 유리하나 다음과같은 잠재적 우려가 있다. - 추가에 실패한 것을 알아채지 못하면 팩트 테이블의 일부에 결손이 발생함 - 추가를 잘못해서 여러번 실행하면 팩트 테이블의 일부가 중복됨 -나중에 팩트 테이블을 다시 만들고 싶은 경우의 관리가 복잡해짐. 이런 문제를 방지하고자 테이블 파티셔닝 기술을 사용한다. 이는 하나의 테이블을 물리적 파티션으로 나눔으로써 파티션 단위로 정리하여 데이터를 쓰거나 삭제할 수 있..