Pianificare un trasferimento del Comparison Shopping Service Center

Questo documento mostra come pianificare e gestire i job di caricamento ricorrenti per i dati dei report di CSS Center utilizzando BigQuery Data Transfer Service.

Prima di iniziare

Prima di creare un trasferimento di dati di CSS Center:

  • Abilita BigQuery Data Transfer Service.
  • Crea un set di dati BigQuery per archiviare i dati di CSS Center.
    • Per la regione del set di dati, supportiamo l'utilizzo dell'opzione predefinita Più regioni negli Stati Uniti o nell'UE.
    • Se vuoi creare un set di dati in una regione specifica, il CSS Center Il trasferimento di dati è supportato solo nelle seguenti regioni:
    • us-east4 (Northern Virginia),
    • asia-northeast1 (Tokyo),
    • asia-southeast1 (Singapore),
    • australia-southeast1 (Sydney),
    • europe-north1 (Findland),
    • europe-west2 (London),
    • europe-west6 (Zurich).
  • Per creare un trasferimento dei dati di CSS Center, devi disporre dell'ID dominio CSS.
  • Se intendi configurare le notifiche di esecuzione dei trasferimenti per Pub/Sub, devi disporre delle autorizzazioni pubsub.topics.setIamPolicy. Pub/Sub le autorizzazioni non sono necessarie se configuri solo le notifiche via email. Per maggiori informazioni le informazioni, vedi Notifiche di esecuzione di BigQuery Data Transfer Service.

Autorizzazioni obbligatorie

Assicurati che all'utente che crea il trasferimento di dati sia richiesto quanto segue autorizzazioni aggiuntive.

Per BigQuery:

Per ottenere le autorizzazioni necessarie per creare un trasferimento, chiedi all'amministratore di concederti Ruolo IAM Amministratore BigQuery (roles/bigquery.admin). Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare un trasferimento. Per vedere le autorizzazioni esatte obbligatorie, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per creare un trasferimento sono necessarie le seguenti autorizzazioni:

  • bigquery.transfers.update sull'utente
  • bigquery.datasets.get nel set di dati di destinazione
  • bigquery.datasets.update sul set di dati di destinazione

Potresti anche riuscire a ottenere queste autorizzazioni con ruoli personalizzati altri ruoli predefiniti.

Per il CSS Center:

Devi avere accesso all'account CSS Center utilizzato nella configurazione del trasferimento.

Configurare un trasferimento di CSS Center

Per creare un trasferimento di dati per i report di CSS Center:

Console

  1. Vai alla pagina Trasferimenti dati nella console Google Cloud.

    Vai a Trasferimenti di dati

  2. Fai clic su Crea trasferimento.

  3. Nella pagina Crea trasferimento:

    • Nella sezione Tipo di origine, per Origine, scegli Google CSS Center.

    • Nella sezione Nome configurazione di trasferimento, in Nome visualizzato, inserisci un nome per il trasferimento dei dati, ad esempio My Transfer. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.

      Nome trasferimento

    • La sezione Opzioni di pianificazione non è configurabile. I trasferimenti di dati del Centro CSS vengono pianificati per essere eseguiti una volta ogni 24 ore.

    • Nella sezione Impostazioni di destinazione, per Set di dati di destinazione, scegli il set di dati che hai creato per archiviare i dati.

    • Nella sezione Dettagli dell'origine dati, in ID CSS, inserisci l'ID del tuo dominio CSS.

      Seleziona i report che vuoi trasferire. Vedi Report supportati per ulteriori dettagli.

      Dati di trasferimento del CSS Center.

    • (Facoltativo) Nella sezione Opzioni di notifica:

      • Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche via email. Se attivi questa opzione, l'amministratore del trasferimento riceve una notifica via email quando un trasferimento non va a buon fine.
      • Per Seleziona un argomento Pub/Sub, scegli l'argomento o fai clic su Crea un argomento. Questa opzione configura le notifiche di esecuzione di Pub/Sub per il trasferimento dei dati.
  4. Fai clic su Salva.

bq

Inserisci il comando bq mk e specifica il flag di creazione del trasferimento: --transfer_config. Sono obbligatori anche i seguenti flag:

  • --data_source
  • --target_dataset
  • --display_name
  • --params

Puoi anche fornire il flag --project_id per specificare un progetto specifico. Se --project_id non è specificato, viene utilizzato il progetto predefinito.

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Dove:

  • project_id è l'ID progetto.
  • dataset è il set di dati di destinazione per la configurazione del trasferimento di dati.
  • name è il nome visualizzato della configurazione di trasferimento dei dati. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.
  • parameters contiene i parametri per il trasferimento di dati creato configurazione in formato JSON. Ad esempio: --params='{"param":"param_value"}'.
    • css_id: l'ID dominio CSS.
    • export_products: se trasferire o meno i dati relativi ai prodotti e ai relativi problemi. Questo parametro è incluso per impostazione predefinita, anche se non specifichi il parametro export_products. Ti consigliamo di includere questo parametro esplicitamente e di impostarlo su true.
  • data_source è l'origine dati - css_center.

Ad esempio, il seguente comando crea un trasferimento di dati di CSS Center denominato My Transfer utilizzando l'ID dominio CSS 1234 e il set di dati di destinazione mydataset. Il trasferimento dei dati viene creato nel progetto predefinito.

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"css_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=css_center

La prima volta che esegui il comando, ricevi un messaggio simile al seguente:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Segui le istruzioni nel messaggio e incolla il codice di autenticazione nella riga di comando.

API

Utilizza il metodo projects.locations.transferConfigs.create e fornisci un'istanza della risorsa TransferConfig.