Datastream 개요

개요

Datastream은 사용하기 쉬운 서버리스 변경 데이터 캡처(CDC) 및 복제 서비스로서 최소한의 지연 시간으로 데이터를 안정적으로 동기화할 수 있게 해줍니다.

Datastream은 운영 데이터베이스에서 BigQuery로 데이터 복제를 원활하게 지원합니다. 또한 Datastream에서는 Cloud Storage에 변경 이벤트 스트림을 작성할 수 있으며 Dataflow 템플릿과의 간소화된 통합을 제공해 Cloud SQL 및 Spanner와 같은 다양한 대상에 데이터를 로드하는 커스텀 워크플로를 빌드할 수 있습니다. 또한 Datastream을 사용해서 Cloud Storage에서 직접 이벤트 스트림을 활용하여 이벤트 중심 아키텍처를 실현할 수 있습니다. Datastream은 Oracle, MySQL, SQL Server, PostgreSQL(PostgreSQL용 AlloyDB 포함) 소스를 지원합니다.

Datastream의 이점은 다음과 같습니다.

  • 지연 시간이 짧은 데이터 복제를 위한 ELT(추출, 로드, 변환) 파이프라인을 원활하게 설정하여 BigQuery에서 거의 실시간으로 통계를 얻을 수 있음
  • 서버리스이므로 프로비저닝하거나 관리할 리소스가 없으며 최소한의 다운타임으로 서비스가 자동으로 확장 및 축소됨
  • 가치를 더 빠르게 실현할 수 있는 간편한 설정 및 모니터링 환경
  • Datastream, Dataflow, Pub/Sub, BigQuery 등에서의 데이터 통합이 가능한 최고의 Google Cloud 데이터 서비스 포트폴리오 통합
  • 이기종 데이터베이스 및 애플리케이션 간에 데이터 스트림 동기화 및 통합
  • 비공개 연결 옵션으로 지원되는 보안과 Google Cloud에 기대할 수 있는 보안 기능
  • 데이터 및 스키마 변경 시 투명한 상태 보고 및 강력한 처리 유연성을 제공하여 정확하고 안정적임
  • 마이그레이션 및 하이브리드 클라우드 구성과 이벤트 기반 아키텍처 빌드를 위한 분석, 데이터베이스 복제, 동기화 등 여러 사용 사례를 지원합니다.

사용 사례

Datastream의 스트리밍 기능은 다양한 사용 사례를 지원합니다.

  • 최소한의 지연 시간으로 조직 전체에서 데이터 복제 및 동기화

    이기종 데이터베이스와 애플리케이션에서 짧은 지연 시간으로 소스 성능에 미치는 영향을 최소화하면서 안정적으로 데이터를 동기화할 수 있습니다. 하이브리드 환경에서 분석, 데이터베이스 복제, 클라우드 마이그레이션, 이벤트 기반 아키텍처에 데이터 스트림을 활용하세요.

  • 서버리스 아키텍처를 통한 원활한 확장 또는 축소

    데이터 볼륨의 변화에 따라 원활하게 확장되는 사용하기 쉬운 서버리스 서비스로 빠르게 준비하고 실행하세요. 인프라, 성능 조정 또는 리소스 프로비저닝을 관리하는 대신 데이터에서 최신 통계를 얻고 우선순위가 높은 문제에 대응하는 데 집중하세요.

  • Google Cloud의 데이터 통합 제품군과 통합

    Google Cloud의 데이터 통합 제품군으로 조직 전체의 데이터를 연결하세요. Datastream은 Dataflow 템플릿을 활용하여 BigQuery, Spanner, Cloud SQL에 데이터를 로드합니다.

환경 요소

Datastream을 구성하는 세 가지 기본 요소가 있습니다.

  • 비공개 연결 구성을 사용하면 Datastream이 비공개 네트워크(내부에서는 Google Cloud 내부 또는 VPN 또는 상호 연결을 통해 연결된 외부 소스)를 통해 데이터 소스와 통신할 수 있습니다. 이 통신은 Virtual Private Cloud(VPC) 피어링 연결을 통해 이루어집니다.
  • 연결 프로필은 소스와 대상 모두에 대한 연결 정보를 나타냅니다. 이 정보는 스트림에 사용됩니다.
  • 스트림은 연결 프로필의 정보를 사용해서 CDC 및 백필 데이터를 소스에서 대상으로 전송합니다.

다음 단계