Menjadwalkan Transfer Comparison Shopping Service Center

Dokumen ini menunjukkan cara menjadwalkan dan mengelola tugas pemuatan berulang untuk data pelaporan CSS Center menggunakan BigQuery Data Transfer Service.

Sebelum memulai

Sebelum Anda membuat transfer data CSS Center:

  • Aktifkan BigQuery Data Transfer Service.
  • Buat set data BigQuery untuk menyimpan data CSS Center.
    • Untuk region set data, kami mendukung penggunaan opsi default, Multi-region, di AS atau Uni Eropa.
    • Jika Anda ingin membuat set data di wilayah tertentu, transfer data CSS Center hanya didukung di wilayah berikut:
    • us-east4 (Northern Virginia),
    • asia-northeast1 (Tokyo),
    • asia-southeast1 (Singapore),
    • australia-southeast1 (Sydney),
    • europe-north1 (Findland),
    • europe-west2 (London),
    • europe-west6 (Zurich).
  • Anda harus memiliki ID domain CSS untuk membuat transfer data CSS Center.
  • Jika ingin menyiapkan notifikasi proses transfer untuk Pub/Sub, Anda harus memiliki izin pubsub.topics.setIamPolicy. Izin Pub/Sub tidak diperlukan jika Anda hanya menyiapkan notifikasi email. Untuk mengetahui informasi selengkapnya, baca Notifikasi Operasi BigQuery Data Transfer Service.

Izin yang diperlukan

Pastikan pengguna yang membuat transfer data memiliki izin yang diperlukan berikut.

Untuk BigQuery:

Untuk mendapatkan izin yang diperlukan guna membuat transfer, minta administrator untuk memberi Anda peran IAM BigQuery admin (roles/bigquery.admin). Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat transfer:

  • bigquery.transfers.update pada pengguna
  • bigquery.datasets.get pada set data target
  • bigquery.datasets.update pada set data target

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk CSS Center:

Anda harus memiliki akses ke akun CSS Center yang digunakan dalam konfigurasi transfer.

Menyiapkan transfer CSS Center

Untuk membuat transfer data bagi pelaporan CSS Center:

Konsol

  1. Buka halaman Data transfers di konsol Google Cloud.

    Buka Data transfers

  2. Klik Create transfer.

  3. Di halaman Create Transfer:

    • Di bagian Source type, untuk Source, pilih Google CSS Center.

    • Di bagian Transfer config name, untuk Display name, masukkan nama untuk transfer data, seperti My Transfer. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.

      Nama transfer

    • Bagian Schedule options tidak dapat dikonfigurasi. Transfer data Pusat CSS dijadwalkan untuk berjalan sekali setiap 24 jam.

    • Di bagian Destination settings, untuk Destination dataset, pilih set data yang Anda buat untuk menyimpan data.

    • Di bagian Data source details, untuk CSS ID, masukkan ID domain CSS Anda.

    • Pilih laporan yang ingin Anda transfer. Lihat Laporan yang didukung untuk mengetahui detail selengkapnya.

    • (Opsional) Di bagian Notification options:

      • Klik tombol untuk mengaktifkan notifikasi email. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
      • Untuk Select a Pub/Sub topic, pilih nama topic Anda atau klik Create a topic. Opsi ini mengonfigurasi notifikasi operasi Pub/Sub untuk transfer data Anda.

    Transfer data CSS Center.

  4. Klik Simpan.

bq

Masukkan perintah bq mk dan berikan flag pembuatan transfer — --transfer_config. Flag berikut juga diperlukan:

  • --data_source
  • --target_dataset
  • --display_name
  • --params

Anda juga dapat memberikan flag --project_id untuk menentukan project tertentu. Jika --project_id tidak ditentukan, project default akan digunakan.

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Dengan keterangan:

  • project_id adalah project ID Anda.
  • dataset adalah set data target untuk konfigurasi transfer data.
  • name adalah nama tampilan untuk konfigurasi transfer data. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
  • parameters berisi parameter untuk konfigurasi transfer data yang dibuat dalam format JSON. Contoh: --params='{"param":"param_value"}'.
    • css_id: ID domain CSS.
    • export_products: apakah akan mentransfer data produk dan masalah produk atau tidak. Parameter ini disertakan secara default, meskipun Anda tidak menentukan parameter export_products. Sebaiknya sertakan parameter ini secara eksplisit dan tetapkan ke true.
  • data_source adalah sumber data — css_center.

Misalnya, perintah berikut akan membuat transfer data CSS Center bernama My Transfer menggunakan ID domain CSS 1234 dan set data target mydataset. Transfer data dibuat di project default Anda.

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"css_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=css_center

Saat pertama kali menjalankan perintah ini, Anda akan menerima pesan seperti berikut:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Ikuti petunjuk dalam pesan, lalu tempel kode autentikasi pada command line.

API

Gunakan metode projects.locations.transferConfigs.create dan berikan instance resource TransferConfig.