Pengantar Analytics Hub

Analytics Hub adalah platform pertukaran data yang memungkinkan Anda berbagi data dan insight dalam skala besar di seluruh batas organisasi dengan framework keamanan dan privasi yang kuat. Dengan Analytics Hub, Anda dapat menemukan dan mengakses library data yang dipilih oleh berbagai penyedia data. Library data ini juga menyertakan set data yang disediakan Google.

Misalnya, dengan menggunakan Analytics Hub, Anda dapat meningkatkan inisiatif analisis dan ML Anda dengan set data pihak ketiga dan Google.

Sebagai pengguna Analytics Hub, Anda dapat melakukan tugas berikut:

  • Sebagai Analytics Hub Publisher, Anda dapat memonetisasi data dengan membagikannya kepada jaringan partner Anda atau dalam organisasi Anda sendiri secara real time. Listingan memungkinkan Anda berbagi data tanpa mereplikasi data yang dibagikan tersebut. Anda dapat membuat katalog sumber data yang siap dianalisis dengan izin terperinci yang memungkinkan Anda mengirimkan data kepada audiens yang tepat. Anda juga dapat mengelola langganan dan melihat metrik penggunaan untuk listingan.

  • Sebagai Analytics Hub Subscriber, Anda dapat menemukan data yang dicari, menggabungkan data bersama dengan data yang ada, dan memanfaatkan fitur bawaan BigQuery. Saat Anda berlangganan listingan, set data tertaut atau langganan Pub/Sub tertaut akan dibuat di project Anda. Anda dapat mengelola langganan menggunakan Resource langganan, yang menyimpan informasi relevan tentang subscriber dan merepresentasikan hubungan antara publisher dan subscriber.

  • Sebagai Analytics Hub Viewer, Anda dapat menjelajahi set data yang dapat diakses di Analytics Hub dan meminta publisher untuk memberikan akses ke data bersama.

  • Sebagai Analytics Hub Administrator, Anda dapat membuat pertukaran data yang memungkinkan berbagi data, lalu memberikan izin kepada publisher dan subscriber data untuk mengakses pertukaran data ini.

Untuk mendapatkan informasi selengkapnya tentang peran pengguna Analytics Hub, lihat Mengonfigurasi peran Analytics Hub.

Arsitektur

Analytics Hub dibangun berdasarkan model publikasi dan langganan resource data Google Cloud, yang memungkinkan berbagi zero-copy. Analytics Hub mendukung resource Google Cloud berikut:

  • Set data BigQuery
  • Topik Pub/Sub

Alur kerja penayang dan subscriber di Analytics Hub dijelaskan secara mendetail di bagian berikut.

Alur kerja publisher

Diagram berikut menjelaskan cara publisher berinteraksi dengan Analytics Hub:

Interaksi antara Analytics Hub Publisher dan Analytics Hub.
Gambar 1. Alur kerja Analytics Hub Publisher.

Dalam gambar 1, fitur berikut diberi label: Resource bersama, Pertukaran data, dan Listingan.

Resource bersama

Resource bersama adalah unit berbagi oleh penayang di Analytics Hub.

Set data bersama
Set data bersama adalah set data BigQuery yang merupakan unit berbagi data di Analytics Hub. Pemisahan komputasi dan penyimpanan dalam arsitektur BigQuery memungkinkan penayang data berbagi set data dengan subscriber sebanyak yang mereka inginkan tanpa harus membuat beberapa salinan data. Sebagai penayang, Anda dapat membuat atau menggunakan set data BigQuery yang sudah ada di project dengan objek yang didukung berikut yang ingin dikirimkan kepada subscriber Anda: Set data bersama mendukung keamanan tingkat kolom dan keamanan tingkat baris.
Topik bersama (Pratinjau)
Topik bersama adalah topik Pub/Sub yang merupakan unit berbagi data streaming di Analytics Hub. Sebagai penayang, Anda membuat atau menggunakan Pub/Sub yang ada di project dan mendistribusikannya kepada pelanggan.

Pertukaran data

Pertukaran data adalah penampung yang memungkinkan layanan berbagi data secara mandiri. Pertukaran data berisi listingan yang merujuk pada resource bersama. Dengan Analytics Hub, publisher dan administrator dapat memberikan akses kepada subscriber di tingkat pertukaran dan listingan. Metode ini membantu menghindari pemberian akses pada resource bersama yang mendasarinya secara eksplisit. Analytics Hub Subscriber dapat menjelajahi pertukaran data, menemukan data yang dapat mereka akses, dan berlangganan resource bersama. Saat membuat pertukaran data, Anda dapat menetapkan email kontak utama ke pertukaran data tersebut. Email kontak utama menyediakan cara bagi pengguna untuk menghubungi pemilik pertukaran data dengan pertanyaan atau masalah tentang pertukaran data. Pertukaran data dapat berupa salah satu jenis berikut:
  • Pertukaran data pribadi. Secara default, pertukaran data bersifat pribadi dan hanya pengguna atau grup yang memiliki akses ke pertukaran tersebut yang dapat melihat atau berlangganan listingannya.
  • Pertukaran data publik. Secara default, pertukaran data bersifat pribadi dan hanya pengguna atau grup yang memiliki akses ke pertukaran tersebut yang dapat melihat atau berlangganan listingannya. Namun, Anda dapat memilih untuk membuat pertukaran data menjadi publik. Listingan di pertukaran data publik dapat ditemukan dan dilanggan oleh pengguna Google Cloud (allAuthenticatedUsers). Untuk mengetahui informasi selengkapnya tentang pertukaran data publik, lihat Membuat pertukaran data menjadi publik.

Sebagai Analytics Hub Administrator, Anda dapat membuat beberapa pertukaran data di Analytics Hub, dan mengelola pengguna Analytics Hub lainnya.

Listingan

Listingan adalah referensi ke resource bersama yang dicantumkan penayang di pertukaran data. Sebagai penayang, Anda dapat membuat listingan dan menentukan deskripsi resource, contoh kueri yang akan dijalankan atau contoh data pesan, link ke dokumentasi yang relevan, dan informasi tambahan apa pun yang dapat membantu pelanggan menggunakan resource bersama Anda. Saat membuat listingan, Anda dapat menetapkan email kontak utama, nama dan kontak penyedia, serta nama dan kontak penayang. Email kontak utama memberikan cara bagi pengguna untuk menghubungi pemilik listingan jika ada pertanyaan atau masalah terkait pertukaran data. Nama dan kontak penyedia adalah informasi agensi yang awalnya memberikan data untuk listingan. Informasi ini bersifat opsional. Nama dan kontak penayang adalah agensi yang memublikasikan data untuk digunakan di Analytics Hub. Informasi ini bersifat opsional. Untuk mengetahui informasi selengkapnya, lihat Mengelola listingan. Listingan dapat berupa dua jenis berikut berdasarkan kebijakan Identity and Access Management (IAM) yang ditetapkan untuk listingan dan jenis pertukaran data yang berisi listingan:
  • Listingan publik. Listingan ini dibagikan kepada semua pengguna Google Cloud (allAuthenticatedUsers). Listingan di pertukaran data publik adalah listingan publik. Listingan ini dapat menjadi referensi referensi publik gratis atau referensi komersial. Jika listingan berasal dari referensi komersial, pelanggan dapat meminta akses ke listingan dan penyedia data akan menghubungi pelanggan tersebut secara langsung.
  • Listingan pribadi. File ini dibagikan langsung kepada individu atau kelompok. Misalnya, listingan pribadi dapat merujuk pada set data metrik pemasaran yang Anda bagikan kepada tim internal lain dalam organisasi Anda.

Alur kerja subscriber

Diagram berikut menjelaskan cara subscriber berinteraksi dengan Analytics Hub:

Interaksi antara Analytics Hub Subscriber dan Analytics Hub.
Gambar 2. Alur kerja Analytics Hub Subscriber.

Pada gambar 2, fitur Analytics Hub berikut diberi label: Referensi bersama, Pertukaran data, Listingan, dan Referensi tertaut.

Referensi tertaut

Resource tertaut dibuat saat berlangganan listingan Analytics Hub, yang menghubungkan pelanggan ke resource bersama yang mendasarinya.

Set data tertaut
Set data tertaut adalah set data BigQuery hanya baca yang berfungsi sebagai pointer atau referensi ke set data bersama. Berlangganan listingan akan membuat set data tertaut dalam project Anda, bukan salinan set data, sehingga subscriber dapat membaca data, tetapi tidak dapat menambahkan atau memperbarui objek di dalamnya. Saat Anda membuat kueri objek seperti tabel dan tabel virtual melalui set data tertaut, data dari set data bersama akan ditampilkan. Untuk mengetahui informasi selengkapnya tentang set data tertaut, baca Melihat dan berlangganan listingan. Set data tertaut diotorisasi untuk mengakses tabel dan tabel virtual pada set data bersama. Subscriber dengan set data tertaut dapat mengakses tabel dan tabel virtual pada set data bersama tanpa otorisasi Identity and Access Management tambahan. Set data tertaut mendukung objek berikut:
Langganan Pub/Sub tertaut (Pratinjau)
Berlangganan listingan dengan topik bersama akan membuat langganan Pub/Sub tertaut di project pelanggan. Tidak ada salinan data pesan atau topik yang dibagikan yang dibuat. Pelanggan langganan Pub/Sub tertaut dapat mengakses pesan yang dipublikasikan ke topik bersama. Pelanggan mengakses data pesan dari topik bersama tanpa otorisasi Identity and Access Management tambahan. Penayang dapat mengelola langganan di Pub/Sub secara langsung atau melalui pengelolaan langganan Analytics Hub. Untuk mengetahui informasi selengkapnya tentang langganan Pub/Sub tertaut, lihat Berbagi streaming dengan Pub/Sub.

Opsi traffic keluar data (khusus set data bersama BigQuery)

Opsi traffic keluar data memungkinkan penayang membatasi ekspor data oleh pelanggan dari set data tertaut BigQuery.

Penayang dapat mengaktifkan batasan traffic keluar data pada listingan, hasil kueri, atau keduanya. Saat traffic keluar data dibatasi, batasan berikut akan diterapkan:

Saat membuat listingan, Anda dapat menetapkan opsi traffic keluar data yang sesuai.

Batasan

Analytics Hub memiliki batasan berikut:

  • Set data bersama dapat memiliki maksimum 1.000 set data tertaut.

  • Topik bersama dapat memiliki maksimum 10.000 langganan Pub/Sub. Batas ini mencakup langganan Pub/Sub tertaut dan langganan Pub/Sub yang dibuat di luar Analytics Hub (misalnya, langsung dari Pub/Sub).

  • Set data dengan resource yang tidak didukung tidak dapat dipilih sebagai set data bersama saat Anda membuat listingan. Untuk mengetahui informasi selengkapnya tentang objek BigQuery yang didukung oleh Analytics Hub, lihat Set data bersama dalam dokumen ini.

  • Anda tidak dapat menetapkan peran IAM atau kebijakan IAM pada setiap tabel dalam set data tertaut. Sebagai gantinya, terapkan di tingkat set data tertaut.

  • Set data tertaut yang dibuat sebelum 25 Juli 2023 tidak akan diisi ulang oleh resource langganan. Hanya langganan yang dibuat setelah 25 Juli 2023 yang berfungsi dengan metode API.

  • Jika Anda adalah publisher, batasan interoperabilitas BigQuery berikut berlaku:

    • Pelanggan harus diberi izin eksplisit untuk membaca set data sumber agar dapat membuat kueri tampilan dalam set data tertaut. Untuk memberikan akses ke tampilan, sebagai praktik terbaik, penayang harus membuat tampilan yang diotorisasi. Tampilan yang diotorisasi dapat memberi subscriber akses ke data tampilan tanpa memberi mereka akses ke data sumber yang mendasarinya.

    • Rencana kueri mengungkapkan kueri tabel virtual bersama dan kueri rutin, termasuk project ID, dan set data lain yang terlibat dalam tabel virtual yang diotorisasi. Jangan sertakan apa pun, seperti kunci enkripsi yang dianggap sensitif, dalam kueri rutin atau tabel virtual bersama.

    • Set data bersama diindeks di Data Catalog. Pembaruan pada set data bersama, seperti menambahkan tabel atau tabel virtual, tersedia bagi subscriber tanpa keterlambatan. Namun, dalam skenario tertentu, misalnya, jika ada lebih dari seratus subscriber atau tabel dalam set data bersama, pembaruan mungkin memerlukan waktu hingga 18 jam untuk diindeks dalam Data Catalog. Karena keterlambatan dalam pengindeksan, subscriber tidak dapat langsung menelusuri resource yang telah diperbarui ini di Konsol Google Cloud.

    • Topik bersama diindeks di Data Catalog, tetapi Anda tidak dapat memfilter secara khusus untuk jenis resource-nya.

    • Jika Anda telah menyiapkan kebijakan keamanan tingkat baris atau penyamaran data pada tabel yang tercantum, subscriber harus merupakan subscriber edisi Enterprise atau Enterprise Plus untuk menjalankan tugas kueri di set data tertaut. Untuk mengetahui informasi tentang edisi, lihat Pengantar edisi BigQuery.

  • Jika Anda adalah subscriber, batasan interoperabilitas BigQuery berikut berlaku:

    • Tabel virtual terwujud yang merujuk ke tabel dalam set data tertaut tidak didukung.

    • Pengambilan snapshot tabel set data tertaut tidak didukung.

    • Kueri dengan set data tertaut dan pernyataan JOIN yang lebih besar dari 1 TB (penyimpanan fisik) mungkin akan gagal. Anda dapat menghubungi dukungan untuk menyelesaikan masalah ini.

    • Anda tidak dapat menggunakan penentu region dengan tabel virtual INFORMATION_SCHEMA guna melihat metadata untuk set data tertaut.

    • Saat membuat kueri untuk rutinitas dalam set data tertaut, Anda hanya dapat membuat kueri untuk Fungsi yang ditentukan pengguna (UDF SQL dan JavaScript) dan jenis rutinitas Fungsi tabel. Membuat kueri untuk jenis rutinitas yang tidak didukung akan menghasilkan pesan error: Querying routine type type is not yet supported on linked dataset dataset.

  • Batasan berikut berlaku untuk metrik penggunaan:

    • Anda tidak bisa mendapatkan metrik penggunaan untuk listingan yang dilanggan sebelum 20 Juli 2023.

    • Metrik penggunaan Tabel eksternal untuk kolom num_rows_processed dan total_bytes_processed mungkin berisi data yang tidak akurat.

    • Metrik penggunaan untuk konsumsi hanya didukung untuk penggunaan melalui tugas BigQuery. Konsumsi menggunakan resource berikut tidak didukung:

    • Metrik penggunaan untuk tampilan hanya diisi untuk kueri setelah 22 April 2024.

    • Metrik penggunaan tidak dikumpulkan untuk langganan Pub/Sub tertaut di Analytics Hub (Anda dapat terus melihat penggunaan langsung di Pub/Sub).

  • Batasan berikut berlaku saat berlangganan data Salesforce Data Cloud:

    • Data Cloud Data dibagikan sebagai tampilan. Sebagai pelanggan, Anda tidak dapat mengakses tabel pokok yang dirujuk oleh tampilan.

Region yang didukung

Analytics Hub didukung di region dan multi-region berikut.

Region

Tabel berikut mencantumkan region di Amerika tempat Analytics Hub tersedia.
Deskripsi region Nama region Detail
Columbus, Ohio us-east5
Dallas us-south1 ikon daun CO Rendah2
Iowa us-central1 ikon daun CO2 Rendah
Las Vegas us-west4
Los Angeles us-west2
Montréal northamerica-northeast1 ikon daun CO2 Rendah
Northern Virginia us-east4
Oregon us-west1 ikon daun CO2 Rendah
Salt Lake City us-west3
Sao Paulo southamerica-east1 ikon daun CO Rendah2
Santiago southamerica-west1
South Carolina us-east1
Toronto northamerica-northeast2
Tabel berikut mencantumkan region di Asia Pasifik tempat Analytics Hub tersedia.
Deskripsi region Nama region Detail
Delhi asia-south2
Hong Kong asia-east2
Jakarta asia-southeast2
Melbourne australia-southeast2
Mumbai asia-south1
Osaka asia-northeast2
Seoul asia-northeast3
Singapura asia-southeast1
Sydney australia-southeast1
Taiwan asia-east1
Tokyo asia-northeast1
Tabel berikut mencantumkan region di Eropa tempat Analytics Hub tersedia.
Deskripsi region Nama region Detail
Belgia europe-west1 ikon daun CO2 Rendah
Finlandia europe-north1 ikon daun CO Rendah2
Frankfurt europe-west3 ikon daun CO Rendah2
London europe-west2 ikon daun CO Rendah2
Belanda europe-west4 ikon daun CO2 Rendah
Warsawa europe-central2
Zürich europe-west6 ikon daun CO Rendah2
Tabel berikut mencantumkan region di Timur Tengah tempat Analytics Hub tersedia.
Deskripsi region Nama region Detail
Dammam me-central2
Tel Aviv me-west1
Tabel berikut mencantumkan region di Afrika tempat Analytics Hub tersedia.
Deskripsi region Nama region Detail
Johannesburg africa-south1

Multi-region

Tabel berikut mencantumkan multi-region tempat Analytics Hub tersedia.
Deskripsi multi-region Nama multi-region
Pusat data di negara anggota Uni Eropa1 EU
Pusat data di Amerika Serikat US

1 Data yang berada di multi-region EU tidak disimpan di pusat data europe-west2 (London) atau europe-west6 (Zürich).

Region Omni

Tabel berikut mencantumkan Omni tempat Analytics Hub tersedia.
Deskripsi region Omni Nama region Omni
AWS
AWS - AS Timur (N. Utara) aws-us-east-1
AWS - AS Barat (Oregon) aws-us-west-2
AWS - Asia Pasifik (Seoul) aws-ap-northeast-2
AWS - Asia Pasifik (Sydney) aws-ap-southeast-2
AWS - Eropa (Irlandia) aws-eu-west-1
AWS - Eropa (Frankfurt) aws-eu-central-1
Azure
Azure - AS Timur 2 azure-eastus2

Contoh kasus penggunaan

Bagian ini menampilkan contoh cara menggunakan Analytics Hub.

Misalnya Anda adalah retailer dan organisasi Anda memiliki data perkiraan permintaan real-time di project Google Cloud bernama Forecasting. Anda ingin membagikan data perkiraan permintaan ini kepada ratusan vendor di sistem supply chain Anda. Berikut cara membagikan data Anda kepada vendor melalui Analytics Hub:

Analytics Hub Administrator

Sebagai pemilik project Forecasting, Anda harus mengaktifkan Analytics Hub API terlebih dahulu, lalu menetapkan peran Admin Analytics Hub kepada pengguna yang mengelola pertukaran data dalam project. Pengguna dengan peran Analytics Hub Admin disebut Analytics Hub Administrator.

Analytics Hub Administrator dapat melakukan tugas berikut:

  • Membuat, memperbarui, menghapus, dan membagikan pertukaran data di project Forecasting organisasi Anda.

  • Mengelola Analytics Hub Administrator lainnya.

  • Mengelola publisher dengan memberikan peran Analytics Hub Publisher kepada karyawan di organisasi Anda. Jika Anda ingin beberapa karyawan hanya dapat memperbarui, menghapus, dan membagikan listingan, tetapi tidak dapat membuatnya, Anda dapat memberi mereka peran Analytics Hub Listing Admin.

  • Mengelola subscriber dengan memberikan peran Analytics Hub Subscriber kepada grup Google yang terdiri dari semua vendor. Jika Anda ingin beberapa vendor hanya memiliki akses lihat ke pertukaran dan listingan yang tersedia, Anda dapat memberi mereka peran Analytics Hub Viewer. Vendor ini tidak dapat berlangganan listingan.

Untuk mengetahui informasi selengkapnya, lihat Mengelola pertukaran data.

Analytics Hub Publisher

Publisher membuat listingan berikut untuk set data mereka di project Forecasting atau di project yang berbeda:

  • Listingan A: Set Data Perkiraan Permintaan 1
  • Listingan B: Set Data Perkiraan Permintaan 2
  • Listingan C: Set Data Perkiraan Permintaan 3

Sebagai penyedia data, Anda dapat melacak metrik penggunaan untuk set data bersama. Metrik penggunaan mencakup detail berikut:

  • Tugas yang dijalankan pada set data bersama.
  • Detail konsumsi set data bersama oleh project dan organisasi subscriber.
  • Jumlah baris dan byte yang diproses oleh tugas tersebut.

Untuk mengetahui informasi selengkapnya, lihat Mengelola listingan.

Analytics Hub Subscriber

Subscriber dapat menjelajahi listingan yang dapat mereka akses dalam pertukaran data. Mereka juga dapat berlangganan listingan ini dan menambahkan set data ini ke project mereka dengan membuat set data tertaut. Vendor kemudian dapat menjalankan kueri pada set data tertaut ini dan mengambil hasilnya secara real time.

Untuk mengetahui informasi selengkapnya, baca Melihat dan berlangganan listingan.

Harga

Tidak ada biaya tambahan untuk mengelola listingan atau pertukaran data.

Untuk set data BigQuery, Analytics Hub Publisher dikenai biaya untuk penyimpanan data, sedangkan subscriber membayar kueri yang dijalankan pada data bersama berdasarkan model harga berbasis kapasitas atau on-demand. Untuk mengetahui informasi tentang harga, lihat Harga BigQuery.

Untuk Pub/Sub, penayang topik dikenai biaya untuk jumlah total byte yang ditulis (throughput publikasi) ke topik bersama dan traffic keluar jaringan (jika berlaku). Pelanggan ditagih untuk jumlah total byte yang dibaca (throughput langganan) dari langganan tertaut dan traffic keluar jaringan (jika berlaku). Lihat Harga Pub/Sub untuk mengetahui detail tambahan.

Kuota

Untuk mengetahui informasi tentang kuota Analytics Hub, lihat Kuota dan batas.

Kontrol Layanan VPC

Anda dapat menetapkan aturan traffic masuk dan keluar yang diperlukan agar publisher dan subscriber dapat mengakses data dari project yang memiliki perimeter Kontrol Layanan VPC. Untuk mengetahui informasi selengkapnya, lihat aturan Kontrol Layanan VPC Hub Analytics Hub.

Langkah berikutnya