Jadwalkan Transfer Comparison Shopping Service Center

Dokumen ini menunjukkan cara menjadwalkan dan mengelola tugas pemuatan berulang untuk Data pelaporan CSS Center menggunakan BigQuery Data Transfer Service.

Sebelum memulai

Sebelum membuat transfer data CSS Center:

  • Aktifkan BigQuery Data Transfer Service.
  • Membuat set data BigQuery untuk menyimpan data CSS Center.
    • Untuk region set data, kami mendukung penggunaan opsi default, Multi-region, di baik AS maupun Uni Eropa.
    • Jika Anda ingin membuat set data di wilayah tertentu, Anda dapat mencoba transfer data hanya didukung di wilayah berikut:
    • us-east4 (Northern Virginia),
    • asia-northeast1 (Tokyo),
    • asia-southeast1 (Singapore),
    • australia-southeast1 (Sydney),
    • europe-north1 (Findland),
    • europe-west2 (London),
    • europe-west6 (Zurich).
  • Anda harus memiliki ID domain CSS untuk melakukan transfer data CSS Center.
  • Jika ingin menyiapkan notifikasi proses transfer untuk Pub/Sub, Anda harus memiliki izin pubsub.topics.setIamPolicy. Pub/Sub izin tidak diperlukan jika Anda hanya menyiapkan notifikasi email. Untuk mengetahui informasi selengkapnya, baca Notifikasi Operasi BigQuery Data Transfer Service.

Izin yang diperlukan

Pastikan pengguna yang membuat transfer data memiliki hal-hal berikut yang diperlukan izin akses.

Untuk BigQuery:

Untuk mendapatkan izin yang Anda perlukan untuk membuat transfer, minta administrator untuk memberi Anda Peran IAM admin BigQuery (roles/bigquery.admin). Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat transfer:

  • bigquery.transfers.update pada pengguna
  • bigquery.datasets.get di set data target
  • bigquery.datasets.update di set data target

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk CSS Center:

Anda harus memiliki akses ke akun CSS Center yang digunakan dalam transfer konfigurasi Anda.

Menyiapkan transfer CSS Center

Guna membuat transfer data untuk pelaporan CSS Center:

Konsol

  1. Buka halaman Transfer data di Konsol Google Cloud.

    Buka Transfer data

  2. Klik Create transfer.

  3. Di halaman Create Transfer:

    • Di bagian Jenis sumber, untuk Sumber, pilih Google CSS Center.

    • Di bagian Transfer config name, untuk Display name, masukkan untuk transfer data seperti My Transfer. Nama transfer dapat nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika Anda perlu memodifikasi nanti.

      Nama transfer

    • Bagian Opsi jadwal tidak dapat dikonfigurasi. Pusat CSS transfer data dijadwalkan untuk berjalan sekali setiap 24 jam.

    • Di bagian Destination settings, untuk Destination dataset, pilih set data yang Anda buat untuk menyimpan data.

    • Di bagian Detail sumber data, untuk ID CSS, masukkan ID domain CSS Anda.

      Pilih laporan yang ingin Anda transfer. Lihat Laporan yang Didukung untuk mengetahui detail selengkapnya.

      Data transfer CSS Center.

    • (Opsional) Di bagian Notification options:

      • Klik tombol untuk mengaktifkan notifikasi email. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
      • Untuk Select a Pub/Sub topic, pilih nama topik atau klik Create a topic. Opsi ini mengonfigurasi Pub/Sub menjalankan notifikasi untuk transfer data.

  4. Klik Simpan.

bq

Masukkan perintah bq mk dan berikan flag pembuatan transfer — --transfer_config. Flag berikut juga diperlukan:

  • --data_source
  • --target_dataset
  • --display_name
  • --params

Anda juga dapat memberikan flag --project_id untuk menentukan project tertentu. Jika --project_id tidak ditentukan, project default akan digunakan.

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Dengan keterangan:

  • project_id adalah project ID Anda.
  • dataset adalah set data target untuk konfigurasi transfer data.
  • name adalah nama tampilan untuk konfigurasi transfer data. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
  • parameters berisi parameter untuk transfer data yang dibuat konfigurasi dalam format JSON. Contoh: --params='{"param":"param_value"}'.
    • css_id: ID domain CSS.
    • export_products: apakah akan mentransfer produk atau tidak dan data masalah produk. Parameter ini disertakan secara default, meskipun Anda tidak menentukan parameter export_products. Saran dari kami Anda menyertakan parameter ini secara eksplisit dan menyetelnya ke true.
  • data_source adalah sumber data — css_center.

Misalnya, perintah berikut akan membuat transfer data CSS Center diberi nama My Transfer menggunakan ID domain CSS 1234 dan set data target mydataset. Transfer data dibuat di project default Anda.

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"css_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=css_center

Saat pertama kali menjalankan perintah ini, Anda akan menerima pesan seperti berikut:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Ikuti petunjuk dalam pesan, lalu tempel kode autentikasi pada command line.

API

Gunakan metode projects.locations.transferConfigs.create dan berikan instance resource TransferConfig.