컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.
BigQuery용 Datastream을 사용하면 실시간에 가까운 비즈니스 통계를 얻을 수 있습니다. 블로그 읽기
바로 이동

BigQuery용 Datastream 미리보기

관계형 데이터베이스에서 BigQuery로 직접 원활하게 복제하여 운영 데이터에 대한 유용한 정보를 거의 실시간으로 얻을 수 있습니다.

  • BigQuery에서 거의 실시간으로 통계를 얻을 수 있는 지연 시간이 짧은 복제

  • MySQL, PostgreSQL, AlloyDB, Oracle 데이터베이스의 스트리밍 데이터에 액세스

  • 리소스를 프로비저닝 또는 관리할 필요 없이 자동으로 확장되는 서버리스 플랫폼

  • 기본 제공되는 보안 연결로 ELT(추출, 로드, 변환) 파이프라인을 손쉽게 설정

이점

최소한의 지연 시간으로 운영 데이터 복제

짧은 지연 시간으로 소스 성능에 영향을 미치지 않으면서 MySQL, PostgreSQL, AlloyDB, Oracle 데이터베이스의 데이터를 원활하게 BigQuery에 직접 복제하세요.

서버리스 아키텍처로 확장 및 축소

관리할 인프라 없이 자동으로 확장되는 서버리스 접근 방식으로 운영 오버헤드를 없앱니다.

단 몇 분만에 실행

간소화된 설정 환경을 통해 단 몇 단계만으로 운영 데이터베이스의 데이터를 BigQuery로 복제할 수 있습니다.

주요 특징

주요 특징

운영 데이터를 BigQuery로 복제

Datastream은 BigQuery의 변경 데이터 캡처(CDC) 기능 및 Storage Write API를 사용하여 소스 시스템에서 직접 거의 실시간으로 업데이트를 효율적으로 복제합니다. 복잡한 데이터 파이프라인, 자체 관리형 스테이징 테이블, 까다로운 병합 로직, 수동 데이터 유형 변환에 귀중한 리소스를 낭비하는 복제 솔루션이 더 이상 필요하지 않습니다.

간소화된 설정

Datastream을 사용하면 몇 단계만 거치면 BigQuery로 데이터를 복제할 수 있습니다. BigQuery에서 소스 데이터베이스, 연결 유형, 대상을 구성하기만 하면 모든 준비가 완료됩니다. BigQuery용 Datastream은 이전 데이터를 백필하고 새로운 변경사항이 발생할 때마다 계속 복제합니다.

관계형 데이터베이스에서 데이터 스트리밍

Datastream은 MySQL, PostgreSQL, AlloyDB, Oracle 데이터베이스에서 모든 변경사항(삽입, 업데이트, 삭제)을 읽고 지연 시간을 최소화하면서 BigQuery로 전송합니다. 소스 데이터베이스는 Cloud SQL 또는 Oracle용 베어메탈 솔루션과 같은 Google Cloud 서비스, 온프레미스 또는 클라우드의 다른 모든 위치에서 호스팅할 수 있습니다. BigQuery용으로 특별히 빌드된 에이전트 없는 Google 기반 서비스로 모든 이벤트를 안정적으로 스트리밍합니다. 

스키마 드리프트 해결

소스 스키마가 변경되면 Datastream이 스키마 드리프트를 원활하게 처리하고 소스에 추가된 새 열과 테이블을 자동으로 BigQuery에 복제합니다.

보안 내재화 설계

Datastream은 전송 중 데이터를 보호하기 위해 여러 가지 안전한 비공개 연결 방식을 지원합니다. 또한 데이터가 저장 상태에서 암호화됩니다.

고객

고객은 Datastream과 BigQuery를 사용하여 실시간 통계를 지원합니다

사용 사례

사용 사례

사용 사례
BigQuery로 서버리스 복제

Datastream은 소스 데이터베이스에서 변경 이벤트(삽입, 업데이트, 삭제)를 읽고 거의 실시간으로 BigQuery 테이블에 씁니다. 따라서 소매 구매와 같은 트랜잭션 데이터로 기존 BigQuery 데이터 웨어하우스 및 ML 모델을 보강하여 데이터를 보다 전체적인 엔드 투 엔드 관점에서 구축할 수 있습니다. Datastream은 이전 데이터를 백필하고 새로운 변경사항이 발생할 때마다 계속 복제하며 스키마 변경사항을 원활하게 처리합니다.

BigQuery로 서버리스 복제

기능 비교

운영 데이터베이스에서 BigQuery로 데이터를 스트리밍하는 옵션 비교

BigQuery용 Datastream

트랜잭션 데이터베이스에서 BigQuery로 데이터를 복제하는 완전 관리형 솔루션

Datastream 및 Dataflow

데이터 소스의 변경사항을 복제하는 맞춤설정 가능한 솔루션

Datastream 및 Data Fusion

완전 관리형 ETL 서비스의 일부인 코드 작성이 필요 없는 마법사

주요 이점

  • BigQuery에 운영 데이터를 복제하는 가장 쉬운 옵션

  • 자동으로 확장 및 축소되는 서버리스 아키텍처

  • 복제 파이프라인의 엔드 투 엔드 가시성 및 모니터링을 위한 단일 인터페이스

  • 유연성이 향상된 맞춤설정 가능한 솔루션

  • Google에서 지원하는 다양한 대상의 사전 빌드된 템플릿

  • 데이터 품질 및 데이터 마스킹과 같은 추가 기능 통합

  • ETL 개발자 및 데이터 분석가를 위한 간단한 인터페이스

  • 복제 시 잠재적 문제 및 격차를 사전에 파악

  • 복제 성능에 대한 실시간에 가까운 통계

트랜잭션 데이터베이스에서 BigQuery로 데이터를 복제하는 완전 관리형 솔루션

주요 이점

  • BigQuery에 운영 데이터를 복제하는 가장 쉬운 옵션

  • 자동으로 확장 및 축소되는 서버리스 아키텍처

  • 복제 파이프라인의 엔드 투 엔드 가시성 및 모니터링을 위한 단일 인터페이스

데이터 소스의 변경사항을 복제하는 맞춤설정 가능한 솔루션

주요 이점

  • 유연성이 향상된 맞춤설정 가능한 솔루션

  • Google에서 지원하는 다양한 대상의 사전 빌드된 템플릿

  • 데이터 품질 및 데이터 마스킹과 같은 추가 기능 통합

완전 관리형 ETL 서비스의 일부인 코드 작성이 필요 없는 마법사

주요 이점

  • ETL 개발자 및 데이터 분석가를 위한 간단한 인터페이스

  • 복제 시 잠재적 문제 및 격차를 사전에 파악

  • 복제 성능에 대한 실시간에 가까운 통계

파트너 ETL/ELT 솔루션, Kafka 또는 일괄 작업을 사용하여 운영 데이터베이스에서 BigQuery로 데이터를 스트리밍할 수도 있습니다. 이러한 옵션에 비해 Datastream에는 서버리스 아키텍처, 손쉬운 통합, 짧은 지연 시간이라는 장점이 있습니다.

가격 책정

Datastream 가격 책정

Datastream 가격은 실제 처리된 데이터를 기준으로 합니다. 볼륨 기반 등급별 가격 책정을 사용할 수 있어 대규모 데이터를 이전하는 경우에 더 경제적입니다. 가격 책정에 관한 추가 세부정보는 Datastream 가격 책정 페이지에서 확인할 수 있습니다.

BigQuery, Cloud Storage, Dataflow와 같은 추가 리소스의 요금은 해당 서비스의 가격 책정에 따라 청구됩니다.