'추출, 변환, 로드'를 의미하는 ETL 프로세스는 소스 시스템에서 원시 데이터를 추출하고, 필요한 구조로 변환한 다음, 일반적으로 데이터 웨어하우스인 대상 시스템에 로드하는 과정을 포함합니다. ETL은 데이터가 정리되어 분석 또는 애플리케이션에서 다운스트림으로 사용할 준비가 되도록 보장하는 데 도움이 됩니다.

기존에는 ETL이 대규모로 예약된 일괄 처리로 실행되었으며, 주로 야간에 실행되었습니다. 즉, 대상 시스템의 데이터는 가장 최근의 일괄 실행만큼만 최신 상태입니다.

주요 차이점은 CDC가 데이터를 추출하는 방식입니다. CDC는 데이터 세트를 일괄 추출하는 대신 변경사항이 발생할 때 이를 캡처하므로 주기적인 일괄 처리에 의존하는 대신 항상 최신 데이터를 쿼리할 수 있습니다. 이를 통해 변화에 더 빠르게 대응하고 더 정확한 인사이트를 얻을 수 있습니다.

변경 데이터 캡처는 주로 소스 시스템의 부하를 최소화하기 위해 소스 데이터베이스에서 모든 증분 변경사항을 효율적으로 추출하는 데 중점을 둔 프로세스이며, 거의 실시간으로 이루어지는 경우가 많습니다.

반면, 지연 변경 측정기준(SCD)은 대상 데이터 웨어하우스 또는 분석 시스템에 적용되는 데이터 모델링 기법으로, 고객 기록이나 제품 속성과 같은 측정기준 데이터의 이전 상태를 시간에 따라 저장하고 관리하는 방법에 중점을 둡니다.

CDC는 변경사항의 효율적인 데이터 전송을 위한 도구이지만, 이러한 변경사항은 일반적으로 특정 SCD 전략을 사용하여 대상 시스템 내에서 완전하고 정확한 기록을 유지합니다.

CDC는 데이터 연속성 보장부터 실시간 분석 및 AI 지원에 이르기까지 광범위한 중요 사용 사례를 실현할 수 있습니다.

• 복제: 실시간 변경사항을 캡처하여 보조 데이터베이스 또는 백업이 기본 시스템과 일관성을 유지합니다. 이는 재해 복구 및 고가용성 아키텍처에 매우 중요합니다.
• 마이그레이션: 진행 중인 변경사항을 추적하고 라이브 마이그레이션 중에도 대상 시스템이 소스를 정확하게 반영하도록 보장하여 데이터베이스 마이그레이션을 간소화합니다.
• 실시간 분석: CDC는 분석 시스템에 실시간 데이터를 제공하여 트렌드와 변화가 발생하는 즉시 이에 대응할 수 있도록 지원하며, 최신 인사이트를 제공합니다.
• AI 학습을 위한 데이터: CDC는 최신 데이터를 제공하여 AI 및 머신러닝 모델이 정확하고 관련성 있는 정보로 학습되도록 지원하여 예측 및 의사 결정을 개선합니다.
• 데이터 클라우드 빌드: CDC는 트랜잭션 데이터베이스 및 SaaS 애플리케이션과 같은 다양한 사일로화된 소스에서 중앙 분석 플랫폼으로, 그리고 다시 소스로 실시간 변경사항을 스트리밍하여 통합된 데이터 클라우드를 만드는 데 필수적인 서비스입니다. 이를 통해 데이터 장벽을 허물고 단일 정보 소스를 만들 수 있습니다.

데이터베이스는 트랜잭션 로그라는 공통의 핵심 구성요소를 공유하기 때문에 변경 데이터 캡처를 위한 가장 일반적이고 신뢰할 수 있는 소스입니다. 이 로그는 모든 변경사항의 불변의 순서화된 레코드이므로 데이터베이스 성능에 영향을 주지 않고 데이터 수정을 정확하고 효율적으로 캡처하기 위한 완벽한 기반이 됩니다. 주요 개념을 자세히 살펴보겠습니다.

실제 데이터베이스 테이블에 데이터가 기록되기 전에 변경사항(삽입, 업데이트 또는 삭제)이 먼저 트랜잭션 로그에 기록됩니다. 최신 CDC 도구는 이 로그를 활용하여 비침입적으로 변경사항을 캡처합니다. 이는 데이터베이스 복제 기술의 핵심 부분이며, 개념은 보편적이지만 이 로그의 이름은 인기 있는 데이터베이스마다 다릅니다. 몇 가지 주목할 만한 예시는 다음과 같습니다.

• PostgreSQL: 미리 쓰기 로그(WAL)
• Oracle: 재실행 로그
• SQL Server: 트랜잭션 로그
• MySQL: 바이너리 로그(Binlog)

대규모 기존 데이터베이스의 경우 네트워크 성능 및 기타 제약으로 인해 트랜잭션 로그에서 전체 기록을 읽는 것이 비실용적일 수 있습니다. 일반적인 실제 패턴은 먼저 일괄 로드를 수행한 다음 CDC를 사용하여 동기화하는 것입니다. 이 프로세스에는 다음 과정이 포함됩니다.

1. 특정 시점에 데이터베이스의 일관된 스냅샷 또는 백업을 만듭니다.
2. 대규모 스냅샷을 대상 시스템에 로드합니다.
3. 스냅샷이 촬영된 정확한 로그 위치에서 CDC 스트림을 시작합니다.

이 '스냅샷 및 따라잡기' 방법을 사용하면 대상이 이전 데이터로 완전히 시딩된 다음 모든 후속 실시간 변경사항과 완벽하게 동기화됩니다. Google Cloud의 Datastream 및 Database Migration Service와 같은 관리형 서비스는 이와 같은 방식으로 원활하고 안정적인 백필을 수행합니다.

이 프로세스를 안정적으로 관리하기 위해 CDC는 트랜잭션 로그 내의 고유 식별자(일반적으로 로그 시퀀스 번호(LSN)라고 함)에 의존합니다. 이러한 숫자는 변경사항 스트림의 정확한 북마크 역할을 합니다. 이러한 기능은 다음과 같은 경우에 중요합니다.

• 포지셔닝: 로그에서 스트림을 시작하거나 중지할 정확한 위치를 파악합니다.
• 복구: CDC 프로세스가 실패하면 마지막으로 성공적으로 처리된 LSN부터 다시 시작할 수 있으므로 데이터 손실이나 중복 없이 모든 변경사항을 정확히 한 번만 캡처할 수 있습니다.

트랜잭션 로그, 초기 스냅샷, 로그 시퀀스 번호라는 이러한 메커니즘은 함께 작동하여 데이터베이스 CDC를 매우 효율적이고 안정적으로 만듭니다.

CDC와 중복되거나 보완되는 여러 기술이 있으며, 이러한 기술은 데이터 변경사항을 관리하고 실시간 처리를 지원하는 다양한 접근방식을 제공합니다. CDC를 다른 주요 접근방식과 비교해 보겠습니다.

HTAP는 트랜잭션(OLTP) 워크로드와 분석(OLAP) 워크로드를 단일 시스템으로 결합하여 데이터에 대한 즉각적인 분석을 제공합니다. 이러한 특성으로 인해 HTAP는 독립 실행형 환경에서 통합 분석에 적합하지만 조직 전반에 걸쳐 존재하는 다양하고 분산된 데이터 소스와 동기화하는 데 어려움을 겪을 수 있습니다. 반면 CDC는 여러 시스템에서 데이터 일관성을 유지하고 분산 워크플로를 지원하는 데 탁월합니다.

페더레이션 쿼리(및 '외부 테이블'이라는 유사한 접근방식)를 사용하면 쿼리가 실행되는 순간 데이터 웨어하우스 또는 쿼리 엔진이 트랜잭션 데이터베이스와 같은 외부 소스 시스템에서 직접 데이터를 읽을 수 있습니다. 이 접근방식은 데이터를 복사하거나 이동할 필요가 없으며 정보가 있는 위치에서 실시간으로 정보에 액세스할 수 있습니다.

이 방법은 복제 파이프라인을 설정하지 않고도 즉시 액세스할 수 있으므로 임시 분석이나 가끔씩 발생하는 쿼리에 적합합니다. 그러나 정기적으로 사용되거나 성능에 민감한 쿼리의 경우 모든 쿼리가 소스 운영 시스템에 직접적인 부하를 가하므로 비효율적일 수 있습니다. 최적화된 분석을 위해 변경사항 스트림을 목적지로 대상으로 푸시하는 CDC와 달리, 페더레이션은 필요에 따라 데이터를 가져오므로 빈번한 워크로드에는 적합하지 않을 수 있습니다.

Kafka는 처리량이 높은 데이터 스트리밍 및 처리를 위해 설계된 오픈소스 플랫폼입니다. Kafka는 대규모 데이터 흐름을 효율적으로 관리하지만 CDC를 대체하는 것이 아니라 보완합니다. CDC는 정확한 데이터베이스 변경사항을 실시간으로 캡처하는 데 중점을 두는 반면, Kafka는 웹사이트 클릭, IoT 센서 판독, 장바구니에 추가된 항목 등 더 광범위한 이벤트 데이터를 스트리밍합니다. 이러한 기술을 함께 사용하면 실시간 워크플로를 위한 강력한 조합을 만들 수 있습니다.

CDC는 노 코드 접근방식을 사용하여 데이터를 복제하는 반면, 애플리케이션 레이어에서 연결되는 통합 기술은 로우 코드 접근방식을 사용하여 시스템과 SaaS 플랫폼을 연결합니다. 플랫폼 간에 이동하는 데이터를 변환할 수 있는 기능을 원한다면 Google Cloud의 Application Integration과 같은 애플리케이션 수준의 통합 제품이 더 나은 도구가 될 수 있습니다.