Bigtable과 통합

이 페이지에서는 Bigtable과 기타 제품 및 서비스의 통합을 설명합니다.

Google Cloud 서비스

이 섹션에서는 Bigtable에서 통합하는 Google Cloud 서비스를 설명합니다.

BigQuery

BigQuery는 Google의 페타바이트급 규모의 완전 관리형 저비용 분석 데이터 웨어하우스입니다. 다음 목적으로 Bigtable에 BigQuery를 사용할 수 있습니다.

  • BigQuery 외부 테이블을 만든 후 이를 사용해서 Bigtable 테이블을 쿼리하고, 데이터를 다른 BigQuery 테이블에 조인할 수 있습니다. 자세한 내용은 Bigtable 데이터 쿼리를 참조하세요.

  • BigQuery에서 Bigtable로 역방향 ETL(RETL)을 사용하여 Bigtable 테이블로 BigQuery 데이터를 내보낼 수 있습니다. 자세한 내용은 Bigtable에 데이터 내보내기(미리보기)를 참조하세요.

Cloud 애셋 인벤토리

시계열 데이터베이스를 기반으로 인벤토리 서비스를 제공하는 Cloud 애셋 인벤토리는 Bigtable 리소스 유형을 지원하고 반환합니다. 전체 목록은 지원되는 리소스 유형을 참조하세요.

Cloud Functions

Cloud Functions는 Bigtable과 통합되는 이벤트 기반의 서버리스 컴퓨팅 플랫폼입니다.

Cloud Functions와 함께 Bigtable 사용 튜토리얼에서는 Node.js, Python, Go에서 HTTP Bigtable을 작성, 배포, 트리거하는 방법을 설명합니다.

Data Catalog

Data Catalog는 Bigtable 리소스에 대해 메타데이터를 자동으로 카탈로그화하는 Dataplex 기능입니다. 데이터에 대한 Data Catalog 정보는 분석, 데이터 재사용, 애플리케이션 개발, 데이터 관리를 지원하는 데 도움이 됩니다. 자세한 내용은 Data Catalog를 사용하여 데이터 애셋 관리를 참조하세요.

Dataflow

Dataflow는 빅데이터 처리를 위한 클라우드 서비스 및 프로그래밍 모델입니다. Dataflow는 일괄 처리와 스트리밍 처리를 모두 지원합니다. Dataflow를 사용하여 Bigtable에 저장된 데이터를 처리하거나 Dataflow 파이프라인 출력을 저장할 수 있습니다. 또한 Dataflow 템플릿을 사용하여 데이터를 Avro, Parquet 또는 SequenceFile로 내보내고 가져올 수 있습니다.

시작하려면 Bigtable Beam 커넥터를 참조하세요.

또한 Bigtable을 키-값 조회로 사용하여 파이프라인의 데이터를 보강할 수 있습니다. 개요는 스트리밍 데이터 보강을 참조하세요. 튜토리얼의 Apache Beam 및 Bigtable을 사용하여 데이터 보강을 참조하세요.

Dataproc

Dataproc은 Apache Hadoop 및 관련 제품을 클라우드의 관리형 서비스로 제공합니다. Dataproc을 사용해 Bigtable에서 읽고 쓰는 Hadoop 작업을 실행할 수 있습니다.

Bigtable을 사용하는 Hadoop 맵리듀스 작업의 예시는 GitHub 저장소 GoogleCloudPlatform/cloud-bigtable-examples의 /java/dataproc-wordcount 디렉터리를 확인하세요.

Vertex AI 벡터 검색은 의미상으로 유사하거나 의미상으로 연관이 있는 수십억 개의 항목을 검색할 수 있는 기술입니다. 추천 엔진, 챗봇, 텍스트 분류를 구현하는 데 유용합니다.

Bigtable을 사용하여 벡터 임베딩을 저장하고 벡터 검색 색인으로 내보낸 후 색인에서 유사한 항목을 쿼리할 수 있습니다. 샘플 워크플로를 보여주는 튜토리얼은 workflows-demos GitHub 저장소의 Bigtable에서 Vertex AI 벡터 검색 내보내기를 참조하세요.

빅데이터

이 섹션에서는 Bigtable과 통합되는 빅데이터 제품을 설명합니다.

Apache Beam

Apache Beam은 일괄 및 스트리밍 데이터 동시 처리 파이프라인을 정의할 수 있는 통합 모델입니다. Bigtable Beam 커넥터 (BigtableIO)를 사용하면 파이프라인의 Bigtable 데이터에서 일괄 작업과 스트리밍 작업을 수행할 수 있습니다.

Bigtable Beam 커넥터를 사용하여 Dataflow에 데이터 파이프라인을 배포하는 방법을 보여주는 튜토리얼은 Bigtable 변경 내역 처리를 참조하세요.

Apache Hadoop

Apache Hadoop은 컴퓨터의 클러스터에서 대규모 데이터 세트를 분산 처리할 수 있는 프레임워크입니다. Dataproc을 사용하여 Hadoop 클러스터를 만든 후 Bigtable에서 읽고 쓰는 맵리듀스 작업을 실행할 수 있습니다.

Bigtable을 사용하는 Hadoop 맵리듀스 작업의 예시는 GitHub 저장소 GoogleCloudPlatform/cloud-bigtable-examples의 /java/dataproc-wordcount 디렉터리를 확인하세요.

StreamSets Data Collector

StreamSets Data Collector는 Bigtable에 데이터를 쓰도록 구성할 수 있는 데이터 스트리밍 애플리케이션입니다. StreamSets는 streamsets/datacollector의 GitHub 저장소에서 Bigtable 라이브러리를 제공합니다.

그래프 데이터베이스

이 섹션에서는 Bigtable과 통합되는 그래프 데이터베이스를 설명합니다.

HGraphDB

HGraphDB는 Apache HBase나 Bigtable을 그래프 데이터베이스로 사용하기 위한 클라이언트 계층이며 Apache TinkerPop 3 인터페이스를 구현합니다.

Bigtable 지원으로 HGraphDB를 실행하는 방법에 대한 자세한 내용은 HGraphDB 문서를 참조하세요.

JanusGraph

JanusGraph는 확장 가능한 그래프 데이터베이스로서, 수천억 개의 정점과 에지가 있는 그래프를 저장하고 쿼리하는 데 최적화되어 있습니다.

Bigtable 지원과 함께 JanusGraph를 실행하는 방법에 대한 자세한 내용은 Bigtable로 JanusGraph 실행 또는 JanusGraph 문서를 참조하세요.

인프라 관리

이 섹션에서는 Bigtable과 통합되는 인프라 관리 도구를 설명합니다.

Pivotal Cloud Foundry

Pivotal Cloud Foundry는 애플리케이션을 Bigtable에 결합할 수 있는 애플리케이션 개발 및 배포 플랫폼입니다.

Terraform

Terraform은 API를 선언적 구성 파일로 코드화하는 오픈소스 도구입니다. 이 파일을 팀원과 공유하고, 코드로 처리하고, 편집하고, 검토하고, 버전을 관리할 수 있습니다.

Terraform과 함께 Bigtable을 사용하는 방법에 대한 자세한 내용은 Terraform 문서의 Bigtable 인스턴스 및 Bigtable 테이블을 참조하세요.

시계열 데이터베이스 및 모니터링

이 섹션에서는 Bigtable과 통합되는 시계열 데이터베이스 및 모니터링 도구를 설명합니다.

Heroic

Heroic은 모니터링 시스템 및 시계열 데이터베이스로서, Bigtable을 사용하여 데이터를 저장할 수 있습니다.

Heroic에 대한 자세한 내용은 GitHub 저장소 spotify/heroic과 Bigtable 구성, 측정항목 구성 관련 문서를 참조하세요.

OpenTSDB

OpenTSDB는 Bigtable을 스토리지로 사용할 수 있는 시계열 데이터베이스입니다. Bigtable 및 GKE에서 OpenTSDB로 시계열 데이터 모니터링에서는 OpenTSDB를 사용하여 Google Cloud에서 시계열 데이터를 수집, 기록, 모니터링하는 방법을 설명합니다. OpenTSDB 문서에서는 시작하는 데 도움이 되는 추가 정보를 제공합니다.