Integrasi dengan Bigtable

Halaman ini menjelaskan integrasi antara Bigtable dan produk serta layanan lainnya.

Layanan Google Cloud

Bagian ini menjelaskan berbagai layanan Google Cloud yang terintegrasi dengan Bigtable.

BigQuery

BigQuery adalah data warehouse analisis berharga terjangkau yang terkelola sepenuhnya dan berskala petabyte dari Google. Anda dapat menggunakan BigQuery dengan BigQuery untuk tujuan berikut:

• Anda dapat membuat tabel eksternal BigQuery, lalu menggunakannya untuk mengkueri tabel Bigtable Anda dan menggabungkan data tersebut ke tabel BigQuery lainnya. Untuk mengetahui informasi selengkapnya, lihat Membuat kueri data BigQuery.

• Anda dapat mengekspor data BigQuery ke tabel Bigtable menggunakan ETL terbalik (RETL) dari BigQuery ke BigQuery. Untuk mengetahui informasi selengkapnya, lihat Mengekspor data ke Bigtable (Pratinjau).

Inventaris Aset Cloud

Inventaris Aset Cloud, yang menyediakan layanan inventaris berdasarkan database deret waktu, mendukung dan menampilkan jenis resource Bigtable. Untuk mengetahui daftar lengkapnya, baca Jenis resource yang didukung.

Cloud Functions

Cloud Functions adalah platform komputasi serverless berbasis peristiwa yang terintegrasi dengan Bigtable.

Tutorial Menggunakan Bigtable dengan Cloud Functions menunjukkan cara menulis, menerapkan, dan memicu Bigtable HTTP di Node.js, Python, dan Go.

Data Catalog

Data Catalog adalah fitur Dataplex yang otomatis membuat katalog metadata tentang resource Bigtable. Informasi Data Catalog tentang data Anda dapat membantu memfasilitasi analisis, penggunaan ulang data, pengembangan aplikasi, dan manajemen data. Untuk mengetahui informasi selengkapnya, lihat Mengelola aset data menggunakan Data Catalog.

Dataflow

Dataflow adalah layanan cloud dan model pemrograman untuk pemrosesan big data. Dataflow mendukung pemrosesan batch dan streaming. Anda dapat menggunakan Dataflow untuk memproses data yang disimpan di Bigtable atau untuk menyimpan output pipeline Dataflow. Anda juga dapat menggunakan template Dataflow untuk mengekspor dan import data sebagai Avro, Parquet, atau SequenceFiles.

Catatan: Library klien Python untuk Bigtable mendukung penulisan Dataflow, tetapi tidak mendukung operasi baca.

Untuk memulai, lihat konektor Bigtable Beam .

Anda juga dapat menggunakan Bigtable sebagai pencarian nilai kunci untuk memperkaya data dalam pipeline. Untuk ringkasan, lihat Memperkaya data streaming. Untuk tutorial, lihat Menggunakan Apache Beam dan Bigtable untuk memperkaya data.

Dataproc

Dataproc menyediakan Apache Hadoop dan produk terkait sebagai layanan terkelola di cloud. Dengan Dataproc, Anda dapat menjalankan tugas Hadoop yang membaca dari dan menulis ke Bigtable.

Untuk contoh tugas MapReduce Hadoop yang menggunakan Bigtable, lihat direktori /java/dataproc-wordcount di repositori GitHub GoogleCloudPlatform/cloud-bigtable-examples.

Vector Search Vertex AI

Vertex AI Vector Search adalah teknologi yang dapat menelusuri dari miliaran item yang serupa secara semantik atau terkait secara semantik. Alat ini berguna untuk mengimplementasikan mesin pemberi saran, chatbot, dan klasifikasi teks.

Anda dapat menggunakan Bigtable untuk menyimpan embedding vektor, mengekspornya ke dalam indeks Penelusuran Vektor, lalu membuat kueri indeks untuk item serupa. Untuk tutorial yang menunjukkan contoh alur kerja, lihat Bigtable to Vertex AI Vector Search Export di repositori GitHub workflows-demos.

Big Data

Bagian ini menjelaskan berbagai produk Big Data yang terintegrasi dengan Bigtable.

Apache Beam

Apache Beam adalah model terpadu untuk menentukan pipeline pemrosesan paralel data batch dan streaming. Konektor Bigtable Beam (BigtableIO) membantu Anda menjalankan operasi batch dan streaming pada data Bigtable dalam pipeline.

Untuk tutorial yang menunjukkan cara menggunakan konektor Bigtable Beam untuk men-deploy pipeline data ke Dataflow, lihat Memproses aliran perubahan Bigtable.

Apache Hadoop

Apache Hadoop adalah framework yang memungkinkan pemrosesan set data besar secara terdistribusi di seluruh cluster komputer. Anda dapat menggunakan Dataproc untuk membuat cluster Hadoop, lalu menjalankan tugas MapReduce yang membaca dan menulis ke Bigtable.

Untuk contoh tugas MapReduce Hadoop yang menggunakan Bigtable, lihat direktori /java/dataproc-wordcount di repositori GitHub GoogleCloudPlatform/cloud-bigtable-examples.

Pengumpul Data StreamSets

StreamSets Data Collector adalah aplikasi streaming data yang dapat dikonfigurasi untuk menulis data ke Bigtable. StreamSets menyediakan library Bigtable dalam repositori GitHub-nya di streamset/datacollector.

{i>Database<i} grafik

Bagian ini menjelaskan database grafik yang terintegrasi dengan Bigtable.

HGraphDB

HGraphDB adalah lapisan klien untuk menggunakan Apache HBase atau Bigtable sebagai database grafik. API ini mengimplementasikan antarmuka Apache TinkerPop 3.

Untuk mengetahui informasi selengkapnya tentang menjalankan HGraphDB dengan dukungan Bigtable, lihat dokumentasi HGraphDB.

Catatan: Integrasi ini dikembangkan secara independen oleh pihak ketiga. Google tidak berafiliasi dengan, dan tidak mendukung, integrasi ini.

JanusGraph

JanusGraph adalah database grafik skalabel. Library ini dioptimalkan untuk menyimpan dan membuat kueri grafik yang berisi ratusan miliar verteks dan tepi.

Untuk mengetahui informasi selengkapnya tentang menjalankan JanusGraph dengan dukungan Bigtable, lihat Menjalankan JanusGraph dengan Bigtable atau dokumentasi JanusGraph.

Pengelolaan infrastruktur

Bagian ini menjelaskan alat pengelolaan infrastruktur yang terintegrasi dengan Bigtable.

Cloud Foundry Pivotal

Pivotal Cloud Foundry adalah platform pengembangan dan deployment aplikasi yang menawarkan kemampuan untuk mengikat aplikasi ke Bigtable.

Terraform

Terraform adalah alat open source yang mengodifikasi API menjadi file konfigurasi deklaratif. File ini dapat dibagikan kepada anggota tim, diperlakukan sebagai kode, diedit, ditinjau, dan dibuatkan versi.

Untuk mengetahui informasi selengkapnya mengenai cara menggunakan Bigtable dengan Terraform, baca Instance Bigtable dan Tabel Bigtable dalam dokumentasi Terraform.

Database dan pemantauan deret waktu

Bagian ini menjelaskan database deret waktu dan alat pemantauan yang terintegrasi dengan Bigtable.

Heroik

Heroic adalah sistem pemantauan dan database deret waktu. Heroic dapat menggunakan Bigtable untuk menyimpan datanya.

Untuk mengetahui informasi selengkapnya tentang Heroic, lihat repositori GitHub spotify/heroic, serta dokumentasi untuk mengonfigurasi Bigtable dan mengonfigurasi metrik.

Catatan: Integrasi ini dikembangkan secara independen oleh pihak ketiga. Google tidak berafiliasi dengan, dan tidak mendukung, integrasi ini.

OpenTSDB

OpenTSDB adalah database deret waktu yang dapat menggunakan Bigtable untuk penyimpanan. Memantau data deret waktu dengan OpenTSDB di Bigtable dan GKE menunjukkan cara menggunakan OpenTSDB untuk mengumpulkan, merekam, dan memantau data deret waktu di Google Cloud. Dokumentasi OpenTSDB menyediakan informasi tambahan untuk membantu Anda memulai.