관계형 데이터베이스에서 BigQuery로 직접 원활하게 복제하여 운영 데이터에 대한 유용한 정보를 거의 실시간으로 얻을 수 있습니다.
이점
짧은 지연 시간으로 소스 성능에 영향을 미치지 않으면서 MySQL, PostgreSQL, AlloyDB, SQL Server, Oracle 데이터베이스의 데이터를 원활하게 BigQuery에 직접 복제하세요.
관리할 인프라 없이 자동으로 확장되는 서버리스 접근 방식으로 운영 오버헤드를 제거합니다.
간소화된 설정 환경을 통해 단 몇 단계만으로 운영 데이터베이스의 데이터를 BigQuery로 복제할 수 있습니다.
주요 특징
Datastream은 BigQuery의 변경 데이터 캡처(CDC) 기능 및 Storage Write API를 사용하여 소스 시스템에서 직접 거의 실시간으로 업데이트를 효율적으로 복제합니다. 복잡한 데이터 파이프라인, 자체 관리형 스테이징 테이블, 까다로운 병합 로직, 수동 데이터 유형 변환에 귀중한 리소스를 낭비하는 복제 솔루션이 더 이상 필요하지 않습니다.
Datastream을 사용하면 몇 단계만으로 BigQuery로 데이터 복제를 시작할 수 있습니다. BigQuery에서 소스 데이터베이스, 연결 유형, 대상을 구성하기만 하면 모든 준비가 완료됩니다. BigQuery용 Datastream은 이전 데이터를 백필하고 새로운 변경사항이 발생할 때마다 계속 복제합니다.
Datastream은 MySQL, PostgreSQL, AlloyDB, SQL Server, Oracle 데이터베이스에서 모든 변경사항(삽입, 업데이트, 삭제)을 읽고 지연 시간을 최소화하면서 BigQuery로 전송합니다. 소스 데이터베이스는 Cloud SQL 또는 Oracle용 베어메탈 솔루션과 같은 Google Cloud 서비스, 온프레미스 또는 클라우드의 다른 모든 위치에서 호스팅할 수 있습니다. BigQuery용으로 특별히 빌드된 에이전트 없는 Google 기반 서비스로 모든 이벤트를 안정적으로 스트리밍합니다.
소스 스키마가 변경되면 Datastream이 스키마 드리프트를 원활하게 처리하고 소스에 추가된 새 열과 테이블을 BigQuery에 자동으로 복제합니다.
Datastream은 전송 중 데이터를 보호하기 위해 여러 가지 안전한 비공개 연결 방식을 지원합니다. 또한 데이터가 저장 상태에서 암호화됩니다.
고객
사용 사례
Datastream은 소스 데이터베이스에서 변경 이벤트(삽입, 업데이트, 삭제)를 읽고 거의 실시간으로 BigQuery 테이블에 씁니다. 따라서 소매 구매와 같은 트랜잭션 데이터로 기존 BigQuery 데이터 웨어하우스 및 ML 모델을 보강하여 데이터를 보다 전체적인 엔드 투 엔드 관점에서 구축할 수 있습니다. Datastream은 이전 데이터를 백필하고 새로운 변경사항이 발생할 때마다 계속 복제하며 스키마 변경사항을 원활하게 처리합니다.
주요 이점
운영 데이터를 BigQuery로 복제하는 가장 쉬운 옵션
자동으로 확장 및 축소되는 서버리스 아키텍처
복제 파이프라인의 엔드 투 엔드 가시성 및 모니터링을 위한 단일 인터페이스
유연성이 향상된 맞춤설정 가능한 솔루션
Google에서 지원하는 다양한 대상의 사전 빌드된 템플릿
데이터 품질 및 데이터 마스킹과 같은 추가 기능 통합
ETL 개발자 및 데이터 분석가를 위한 간단한 인터페이스
복제 시 잠재적 문제 및 격차를 사전에 파악
복제 성능에 대한 실시간에 가까운 통계
주요 이점
운영 데이터를 BigQuery로 복제하는 가장 쉬운 옵션
자동으로 확장 및 축소되는 서버리스 아키텍처
복제 파이프라인의 엔드 투 엔드 가시성 및 모니터링을 위한 단일 인터페이스
주요 이점
유연성이 향상된 맞춤설정 가능한 솔루션
Google에서 지원하는 다양한 대상의 사전 빌드된 템플릿
데이터 품질 및 데이터 마스킹과 같은 추가 기능 통합
주요 이점
ETL 개발자 및 데이터 분석가를 위한 간단한 인터페이스
복제 시 잠재적 문제 및 격차를 사전에 파악
복제 성능에 대한 실시간에 가까운 통계
가격 책정
Datastream 가격은 실제 처리된 데이터를 기준으로 합니다. 볼륨 기반 등급별 가격 책정을 사용할 수 있어 대규모 데이터를 이전하는 경우에 더 경제적입니다. 가격 책정에 관한 추가 세부정보는 Datastream 가격 책정 페이지에서 확인할 수 있습니다.
BigQuery, Cloud Storage, Dataflow와 같은 추가 리소스의 요금은 해당 서비스의 가격 책정에 따라 청구됩니다.