Google Cloud는 다양한 소스의 지속적인 데이터 스트림을 처리할 수 있는 강력한 스트리밍 분석 생태계를 제공합니다. BigQuery는 BigQuery의 스토리지 쓰기 API와 연속 쿼리를 통해 직접 데이터 수집을 지원하고 웨어하우스 내 데이터의 최신성을 극대화하며 다른 소스에 연결할 수 있는 기능을 갖추고 있어 알려진 스키마에 이상적인 수집 소스입니다. 반면 Bigtable은 전역 선형 확장성과 기본 제공되는 데이터 동기화를 제공하여 즉각적인 쓰기 후 읽기 일관성이 필요한 유연하고 동적인 스키마에 적합합니다. 또한 Bigtable은 타임스탬프 기반 버전 관리와 자동 TTL(수명) 보관 정책을 기본 제공하므로 이벤트 스트리밍에 적합한 스토리지 및 분석 솔루션입니다. 스트리밍해야 하는 데이터의 양도 고려해야 합니다. BigQuery는 미국 및 EU 멀티 리전에서 초당 1GBps의 속도로 데이터를 스트리밍할 수 있으며 다른 리전에서는 초당 수백 MBps의 속도로 스트리밍할 수 있습니다. Bigtable은 Bigtable이 지원하는 모든 리전에서 노드당 초당 14,000건의 쓰기와 같은 선형 확장성을 통해 스트리밍 데이터를 유연하게 캡처할 수 있습니다. 

BigQuery와 Bigtable을 함께 사용하면 절충할 필요 없이 사용 사례에 적합한 수집 기술을 선택할 수 있습니다.

대부분의 데이터베이스에서는 빠른 행 검색과 대규모 분석 처리 중 하나를 선택해야 합니다. Bigtable과 BigQuery는 각각의 고유한 목적을 결합하여 쿼리 유형에 관계없이 완전한 실시간 분석 데이터베이스를 제공합니다. 

Bigtable은 단일 행 또는 데이터 범위를 빠르게 검색하도록 최적화된 스토리지 엔진으로서, 애플리케이션 내 차트, 프로필 조회, 시계열 분석, 클릭과 같은 스트리밍 데이터의 측정항목 또는 예측 가능하고 대용량으로 지연 시간 없이 제공되어야 하는 기타 쿼리와 같이 신속한 실시간 응답이 필요한 사용자 대상 애플리케이션에 적합합니다. Bigtable은 동기 및 비동기 액세스를 모두 제공하는 특수 클라이언트 라이브러리와 함께 인메모리 및 분리된 디스크 스토리지를 조합하여 고성능을 제공하도록 최적화하는 로그 구조화된 엔진(LSM 트리)을 기반으로 합니다. Bigtable의 유연한 스키마와 자체 관리 기능은 까다로운 애플리케이션에 대한 적합성을 더욱 향상시킵니다. 반면 BigQuery는 분석 워크로드에 뛰어나며 복잡한 집계, Vertex AI와의 통합, 변환을 통해 대규모 데이터 세트를 쿼리하고 분석하기 위한 강력한 도구를 제공합니다.

Bigtable과 BigQuery의 조합을 선택하면 대규모 데이터 세트에 대한 개별 행 조회와 종합적인 분석 처리 중에서 선택할 필요가 없습니다. 원활한 통합 덕분에 두 스토리지 모델을 모두 쉽게 사용하여 실시간 애플리케이션을 지원할 수 있습니다. Bigtable은 BigQuery 규모의 데이터 세트를 위한 비용 효율적인 캐싱 솔루션으로 자주 사용됩니다. 예를 들어 BigQuery를 사용하여 임베딩을 일괄적으로 생성한 다음 Bigtable에서 이러한 임베딩을 제공하여 검색 증강 생성(RAG) 애플리케이션을 지원할 수 있습니다.

Bigtable은 데이터가 작성될 때 사전 처리하여 즉각적인 결과와 유용한 정보를 제공하는 특화된 데이터 유형을 제공합니다. 데이터가 작성될 때 합계, 최솟값, 최댓값, 대략적인 고유값을 계산할 수 있으며, 기본 제공되는 전역 복제를 통해 애플리케이션 전체에서 일관된 결과를 얻을 수 있습니다. 또한 이러한 데이터 유형은 BigQuery에서 로드할 수 있는 웨어하우스 데이터와 완전히 상호 운용할 수 있습니다.

실시간 데이터 집계는 종합적인 머신러닝 기능을 만들 수 있도록 지원하여 정확한 예측을 통해 사용자의 참여를 유도할 수 있습니다.

Bigtable은 BigQuery 분석 생태계에 통합되어 추가 스트림 분석을 위해 실시간 데이터에 쉽게 액세스할 수 있습니다. 외부 테이블을 사용해 BigQuery의 다른 데이터 세트와 Bigtable 데이터를 쿼리 및 조인하고, Bigtable 데이터에서 오픈소스 Spark 분석 또는 Apache Beam 파이프라인을 직접 사용하고, 결과를 다시 쓸 수 있습니다. 또한 이 분석 액세스에서는 Bigtable의 Data Boost를 사용하여 실시간 애플리케이션 성능에 영향을 주지 않으면서도 고성능 분석을 얻을 수 있습니다. 또한 변경 데이터 캡처(CDC)와 Dataplex를 사용하면 Bigtable 데이터를 간단하게 내보내고 탐색할 수 있으며 복잡하거나 맞춤설정된 데이터 동기화 작업이 필요하지 않습니다.