Menjadwalkan Transfer Comparison Shopping Service Center

Dokumen ini menunjukkan cara menjadwalkan dan mengelola tugas pemuatan berulang untuk data pelaporan CSS Center menggunakan BigQuery Data Transfer Service.

Sebelum memulai

Sebelum Anda membuat transfer CSS Center:

  • Aktifkan BigQuery Data Transfer Service.
  • Buat set data BigQuery untuk menyimpan data CSS Center.
    • Untuk region set data, kami mendukung penggunaan opsi default, Multi-region, baik di AS maupun UE.
    • Jika Anda ingin membuat set data di region tertentu, transfer data CSS Center hanya didukung di region berikut:
    • us-east4 (Northern Virginia),
    • asia-northeast1 (Tokyo),
    • asia-southeast1 (Singapore),
    • australia-southeast1 (Sydney),
    • europe-north1 (Findland),
    • europe-west2 (London),
    • europe-west6 (Zurich).
  • Anda harus memiliki ID domain CSS untuk membuat transfer CSS Center.
  • Jika ingin menyiapkan notifikasi proses transfer untuk Pub/Sub, Anda harus memiliki izin pubsub.topics.setIamPolicy. Izin Pub/Sub tidak diperlukan jika Anda hanya menyiapkan notifikasi email. Untuk mengetahui informasi selengkapnya, baca Notifikasi Operasi BigQuery Data Transfer Service.

Izin yang diperlukan

Pastikan pengguna yang membuat transfer memiliki izin yang diperlukan berikut.

Untuk BigQuery:

Untuk mendapatkan izin yang Anda perlukan untuk membuat transfer, minta administrator untuk memberi Anda peran IAM admin BigQuery (roles/bigquery.admin). Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk membuat transfer. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat transfer:

  • bigquery.transfers.update pada pengguna
  • bigquery.datasets.get di set data target
  • bigquery.datasets.update di set data target

Anda mung juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaanlainnya.

Untuk CSS Center:

Anda harus memiliki akses ke akun CSS Center yang digunakan dalam konfigurasi transfer.

Menyiapkan transfer CSS Center

Guna membuat transfer data untuk pelaporan CSS Center:

Konsol

  1. Buka halaman BigQuery di konsol Google Cloud.

    Buka halaman BigQuery

  2. Klik Transfers.

  3. Klik Create Transfer.

  4. Di halaman Create Transfer:

    • Di bagian Source type, untuk Source, pilih Google CSS Center.

    • Di bagian Transfer config name, untuk Display name, masukkan nama untuk transfer, misalnya My Transfer. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.

      Nama transfer

    • Bagian Opsi jadwal tidak dapat dikonfigurasi. Transfer CSS Center dijadwalkan untuk berjalan sekali setiap 24 jam.

    • Di bagian Destination settings, untuk Destination dataset, pilih set data yang Anda buat untuk menyimpan data.

    • Di bagian Detail sumber data, untuk ID CSS, masukkan ID domain CSS Anda.

      Pilih laporan yang ingin Anda transfer. Lihat Laporan yang Didukung untuk detail selengkapnya.

      Data transfer CSS Center.

    • (Opsional) Di bagian Notification options:

      • Klik tombol untuk mengaktifkan notifikasi email. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
      • Untuk Select a Pub/Sub topic, pilih nama topik atau klik Create a topic. Opsi ini mengonfigurasi notifikasi operasi Pub/Sub untuk transfer Anda.

  5. Klik Simpan.

bq

Masukkan perintah bq mk dan berikan flag pembuatan transfer — --transfer_config. Flag berikut juga diperlukan:

  • --data_source
  • --target_dataset
  • --display_name
  • --params

Anda juga dapat memberikan flag --project_id untuk menentukan project tertentu. Jika --project_id tidak ditentukan, project default akan digunakan.

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Dengan keterangan:

  • project_id adalah project ID Anda.
  • dataset adalah set data target untuk konfigurasi transfer.
  • name adalah nama tabel virtual untuk konfigurasi transfer. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
  • parameters berisi parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh: --params='{"param":"param_value"}'.
    • css_id: ID domain CSS.
    • export_products: apakah akan mentransfer data produk dan produk atau tidak. Parameter ini disertakan secara default, meskipun Anda tidak menentukan parameter export_products. Sebaiknya sertakan parameter ini secara eksplisit dan tetapkan ke true.
  • data_source adalah sumber data — css_center.

Misalnya, perintah berikut akan membuat transfer CSS Center bernama My Transfer menggunakan ID domain CSS 1234 dan set data target mydataset. Transfer dibuat di project default Anda.

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"css_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=css_center

Saat pertama kali menjalankan perintah ini, Anda akan menerima pesan seperti berikut:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Ikuti petunjuk dalam pesan, lalu tempel kode autentikasi pada command line.

API

Gunakan metode projects.locations.transferConfigs.create dan berikan instance resource TransferConfig.