Menggunakan transfer pihak ketiga

Transfer pihak ketiga untuk BigQuery Data Transfer Service memungkinkan Anda menjadwalkan dan mengelola tugas pemuatan berulang secara otomatis untuk sumber data eksternal seperti Salesforce CRM, Adobe Analytics, dan Facebook Ads.

Sebelum memulai

Sebelum Anda membuat transfer data pihak ketiga:

  • Pastikan Anda telah menyelesaikan semua tindakan yang diperlukan untuk mengaktifkan BigQuery Data Transfer Service.
  • Buat set data BigQuery untuk menyimpan data.

  • Pastikan orang yang melakukan transfer memiliki izin yang diperlukan berikut di BigQuery:

    • Izin bigquery.transfers.update untuk membuat transfer
    • Izin bigquery.datasets.get dan bigquery.datasets.update pada set data target

    Peran IAM bigquery.admin yang telah ditetapkan mencakup izin bigquery.transfers.update, bigquery.datasets.update, dan bigquery.datasets.get. Untuk mengetahui informasi lebih lanjut tentang peran IAM dalam BigQuery Data Transfer Service, lihat Kontrol akses.

  • Lihat dokumentasi untuk sumber data pihak ketiga guna memastikan Anda telah mengonfigurasi izin apa pun yang diperlukan untuk mengaktifkan transfer.

  • Jika ingin menyiapkan notifikasi operasi transfer untuk Pub/Sub, Anda harus memiliki izin pubsub.topics.setIamPolicy. Izin Pub/Sub tidak diperlukan jika Anda baru saja menyiapkan notifikasi email. Untuk mengetahui informasi selengkapnya, lihat Notifikasi operasi BigQuery Data Transfer Service.

Batasan

Transfer pihak ketiga tunduk pada batasan berikut:

  • Anda harus membuat atau memperbarui transfer pihak ketiga menggunakan Konsol Google Cloud.
  • Saat ini, Anda tidak dapat mengonfigurasi atau memperbarui transfer pihak ketiga menggunakan alat command line bq.

Menyiapkan transfer data pihak ketiga

Untuk membuat transfer data pihak ketiga menggunakan Konsol Google Cloud:

  1. Buka Google Cloud Marketplace.

    Buka Google Cloud Marketplace

  2. Klik penyedia pihak ketiga yang sesuai.

  3. Di halaman dokumentasi untuk penyedia pihak ketiga, klik Daftar. Proses pendaftaran mungkin memerlukan waktu beberapa saat.

  4. Setelah pendaftaran selesai, klik Konfigurasi Transfer.

  5. Di halaman Melakukan Transfer:

    • Untuk Sumber, pilih sumber data pihak ketiga yang sesuai. Anda dapat mengklik Jelajahi Sumber Data untuk melihat daftar penyedia pihak ketiga di Google Cloud Marketplace.

      Sumber transfer

    • Untuk Nama tampilan, masukkan nama transfer, seperti My Transfer. Nama transfer dapat berupa nilai apa pun yang memudahkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.

      Nama transfer

    • Untuk Jadwal, biarkan nilai default (Mulai sekarang) atau klik Mulai pada waktu yang ditentukan.

      • Untuk Ulangi, pilih opsi frekuensi transfer dijalankan. Opsi meliputi:

        • Harian (default)
        • Mingguan
        • Bulanan
        • Khusus
        • Sesuai permintaan

        Jika Anda memilih opsi selain Harian, opsi tambahan tersedia. Misalnya, jika memilih Mingguan, akan ada opsi yang muncul untuk memilih hari.

      • Untuk Tanggal mulai dan waktu pelaksanaan, masukkan tanggal dan waktu untuk memulai transfer. Jika Anda memilih Mulai sekarang, opsi ini akan dinonaktifkan.

        Jadwal transfer

    • Untuk Set data tujuan, pilih set data yang Anda buat untuk menyimpan data.

      Mentransfer set data

    • (Opsional) Di bagian Opsi notifikasi:

      • Klik tombol untuk mengaktifkan notifikasi email. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat transfer yang dijalankan gagal.
      • Untuk Pilih topik Pub/Sub, pilih nama topic atau klik Buat topik untuk membuatnya. Opsi ini mengonfigurasi notifikasi operasi Pub/Sub untuk transfer Anda.

  6. Klik Hubungkan Sumber.

  7. Saat diminta, klik Setuju untuk memberi izin ke BigQuery Data Transfer Service agar terhubung ke sumber data dan mengelola data Anda di BigQuery.

  8. Ikuti petunjuk di halaman berikutnya untuk mengonfigurasi koneksi ke sumber data eksternal Anda.

  9. Setelah Anda menyelesaikan langkah-langkah konfigurasi, klik Simpan.

Memecahkan masalah penyiapan transfer pihak ketiga

Jika Anda mengalami masalah saat menyiapkan transfer, hubungi vendor pihak ketiga yang sesuai. Informasi kontak tersedia di halaman dokumentasi transfer di Google Cloud Marketplace.

Membuat kueri data Anda

Saat data Anda ditransfer ke BigQuery, data tersebut akan ditulis ke tabel berpartisi berdasarkan waktu penyerapan. Untuk informasi selengkapnya, lihat Pengantar tabel berpartisi.

Jika membuat kueri tabel secara langsung, bukan menggunakan tabel virtual yang dihasilkan secara otomatis, Anda harus menggunakan kolom semu _PARTITIONTIME dalam kueri. Untuk mengetahui informasi selengkapnya, lihat Membuat kueri tabel berpartisi.

Langkah selanjutnya

  • Untuk ringkasan BigQuery Data Transfer Service, lihat Pengantar BigQuery Data Transfer Service.
  • Untuk informasi cara menggunakan transfer, termasuk mendapatkan informasi tentang konfigurasi transfer, membuat listingan konfigurasi transfer, dan melihat histori pelaksanaan transfer, lihat Menangani transfer.