BigQuery용 Datastream
관계형 데이터베이스에서 BigQuery로 직접 원활하게 복제하여 운영 데이터에 대한 유용한 정보를 거의 실시간으로 얻을 수 있습니다.
이점
최소한의 지연 시간으로 운영 데이터 복제
짧은 지연 시간으로 소스 성능에 영향을 미치지 않으면서 MySQL, PostgreSQL, AlloyDB, SQL Server, Oracle 데이터베이스의 데이터를 원활하게 BigQuery에 직접 복제하세요.
서버리스 아키텍처로 확장 및 축소
관리할 인프라 없이 자동으로 확장되는 서버리스 접근 방식으로 운영 오버헤드를 제거합니다.
단 몇 분만에 실행
간소화된 설정 환경을 통해 단 몇 단계만으로 운영 데이터베이스의 데이터를 BigQuery로 복제할 수 있습니다.
주요 특징
주요 특징
운영 데이터를 BigQuery로 복제
Datastream은 BigQuery의 변경 데이터 캡처(CDC) 기능 및 Storage Write API를 사용하여 소스 시스템에서 직접 거의 실시간으로 업데이트를 효율적으로 복제합니다. 복잡한 데이터 파이프라인, 자체 관리형 스테이징 테이블, 까다로운 병합 로직, 수동 데이터 유형 변환에 귀중한 리소스를 낭비하는 복제 솔루션이 더 이상 필요하지 않습니다.
간소화된 설정
Datastream을 사용하면 몇 단계만으로 BigQuery로 데이터 복제를 시작할 수 있습니다. BigQuery에서 소스 데이터베이스, 연결 유형, 대상을 구성하기만 하면 모든 준비가 완료됩니다. BigQuery용 Datastream은 이전 데이터를 백필하고 새로운 변경사항이 발생할 때마다 계속 복제합니다.
관계형 데이터베이스에서 데이터 스트리밍
Datastream은 MySQL, PostgreSQL, AlloyDB, SQL Server, Oracle 데이터베이스에서 모든 변경사항(삽입, 업데이트, 삭제)을 읽고 지연 시간을 최소화하면서 BigQuery로 전송합니다. 소스 데이터베이스는 Cloud SQL 또는 Oracle용 베어메탈 솔루션과 같은 Google Cloud 서비스, 온프레미스 또는 클라우드의 다른 모든 위치에서 호스팅할 수 있습니다. BigQuery용으로 특별히 빌드된 에이전트 없는 Google 기반 서비스로 모든 이벤트를 안정적으로 스트리밍합니다.
스키마 드리프트 해결
소스 스키마가 변경되면 Datastream이 스키마 드리프트를 원활하게 처리하고 소스에 추가된 새 열과 테이블을 BigQuery에 자동으로 복제합니다.
보안 내재화 설계
Datastream은 전송 중 데이터를 보호하기 위해 여러 가지 안전한 비공개 연결 방식을 지원합니다. 또한 데이터가 저장 상태에서 암호화됩니다.
고객
고객은 Datastream과 BigQuery를 사용하여 실시간 통계를 지원합니다
Datastream을 통해 단일 도구로 운영 데이터를 BigQuery에 거의 실시간으로 원활하게 복제할 수 있습니다. Datastream을 사용하면 운영 데이터에 대한 유용한 정보를 훨씬 더 빠르게 얻고 보다 안정적인 데이터 제품을 제공하며 비즈니스 요구사항을 보다 잘 해결할 수 있습니다.
르네 델가도, Falabella 데이터 솔루션 책임자
사용 사례
사용 사례
BigQuery로 서버리스 복제
Datastream은 소스 데이터베이스에서 변경 이벤트(삽입, 업데이트, 삭제)를 읽고 거의 실시간으로 BigQuery 테이블에 씁니다. 따라서 소매 구매와 같은 트랜잭션 데이터로 기존 BigQuery 데이터 웨어하우스 및 ML 모델을 보강하여 데이터를 보다 전체적인 엔드 투 엔드 관점에서 구축할 수 있습니다. Datastream은 이전 데이터를 백필하고 새로운 변경사항이 발생할 때마다 계속 복제하며 스키마 변경사항을 원활하게 처리합니다.
운영 데이터베이스에서 BigQuery로 데이터를 스트리밍하는 옵션 비교
BigQuery용 Datastream
Datastream 및 Dataflow
Datastream 및 Data Fusion
주요 이점
주요 이점
운영 데이터를 BigQuery로 복제하는 가장 쉬운 옵션
자동으로 확장 및 축소되는 서버리스 아키텍처
복제 파이프라인의 엔드 투 엔드 가시성 및 모니터링을 위한 단일 인터페이스
유연성이 향상된 맞춤설정 가능한 솔루션
Google에서 지원하는 다양한 대상의 사전 빌드된 템플릿
데이터 품질 및 데이터 마스킹과 같은 추가 기능 통합
ETL 개발자 및 데이터 분석가를 위한 간단한 인터페이스
복제 시 잠재적 문제 및 격차를 사전에 파악
복제 성능에 대한 실시간에 가까운 통계
BigQuery용 Datastream
주요 이점
운영 데이터를 BigQuery로 복제하는 가장 쉬운 옵션
자동으로 확장 및 축소되는 서버리스 아키텍처
복제 파이프라인의 엔드 투 엔드 가시성 및 모니터링을 위한 단일 인터페이스
Datastream 및 Dataflow
주요 이점
유연성이 향상된 맞춤설정 가능한 솔루션
Google에서 지원하는 다양한 대상의 사전 빌드된 템플릿
데이터 품질 및 데이터 마스킹과 같은 추가 기능 통합
Datastream 및 Data Fusion
주요 이점
ETL 개발자 및 데이터 분석가를 위한 간단한 인터페이스
복제 시 잠재적 문제 및 격차를 사전에 파악
복제 성능에 대한 실시간에 가까운 통계
가격 책정
Datastream 가격 책정
Datastream 가격은 실제 처리된 데이터를 기준으로 합니다. 볼륨 기반 등급별 가격 책정을 사용할 수 있어 대규모 데이터를 이전하는 경우에 더 경제적입니다. 가격 책정에 관한 추가 세부정보는 Datastream 가격 책정 페이지에서 확인할 수 있습니다.
BigQuery, Cloud Storage, Dataflow와 같은 추가 리소스의 요금은 해당 서비스의 가격 책정에 따라 청구됩니다.
