Programma un trasferimento di Comparison Shopping Service Center

Questo documento mostra come pianificare e gestire job di caricamento ricorrenti per i dati dei report di CSS Center utilizzando BigQuery Data Transfer Service.

Prima di iniziare

Prima di creare un trasferimento CSS Center:

  • Abilita BigQuery Data Transfer Service.
  • Crea un set di dati BigQuery per archiviare i dati di CSS Center.
    • Per la regione del set di dati, è supportato l'uso dell'opzione predefinita, Più regioni, negli Stati Uniti o nell'UE.
    • Se vuoi creare un set di dati in una regione specifica, il trasferimento di dati CSS Center è supportato solo nelle seguenti regioni:
    • us-east4 (Northern Virginia),
    • asia-northeast1 (Tokyo),
    • asia-southeast1 (Singapore),
    • australia-southeast1 (Sydney),
    • europe-north1 (Findland),
    • europe-west2 (London),
    • europe-west6 (Zurich).
  • Per creare un trasferimento CSS Center, devi disporre del tuo ID dominio CSS.
  • Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub, devi disporre delle autorizzazioni pubsub.topics.setIamPolicy. Le autorizzazioni Pub/Sub non sono necessarie se configuri solo le notifiche via email. Per ulteriori informazioni, consulta le notifiche di esecuzione di BigQuery Data Transfer Service.

Autorizzazioni obbligatorie

Assicurati che l'utente che crea il trasferimento disponga delle seguenti autorizzazioni richieste.

Per BigQuery:

Per ottenere le autorizzazioni necessarie per creare un trasferimento, chiedi all'amministratore di concederti il ruolo IAM Amministratore BigQuery (roles/bigquery.admin). Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare un trasferimento. Per visualizzare le autorizzazioni esatte necessarie, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per creare un trasferimento sono necessarie le seguenti autorizzazioni:

  • bigquery.transfers.update sull'utente
  • bigquery.datasets.get sul set di dati di destinazione
  • bigquery.datasets.update sul set di dati di destinazione

Potresti anche essere in grado di ottenere queste autorizzazioni con i ruoli personalizzati o altri ruoli predefiniti.

Per il CSS Center:

Devi avere accesso all'account CSS Center utilizzato nella configurazione del trasferimento.

Configurare un trasferimento CSS Center

Per creare un trasferimento di dati per i report CSS Center:

Console

  1. Vai alla pagina BigQuery nella console Google Cloud.

    Vai alla pagina di BigQuery

  2. Fai clic su Trasferimenti.

  3. Fai clic su Crea trasferimento.

  4. Nella pagina Crea trasferimento:

    • Nella sezione Tipo di origine, per Origine, scegli Google CSS Center.

    • Nella sezione Nome configurazione di trasferimento, per Nome visualizzato, inserisci un nome per il trasferimento, ad esempio My Transfer. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.

      Nome trasferimento

    • La sezione Opzioni di pianificazione non è configurabile. I trasferimenti di CSS Center sono pianificati per essere eseguiti una volta ogni 24 ore.

    • Nella sezione Impostazioni destinazione, per Set di dati di destinazione, scegli il set di dati che hai creato per archiviare i dati.

    • Nella sezione Dettagli origine dati, per ID CSS, inserisci l'ID dominio CSS.

      Seleziona i report che vuoi trasferire. Per ulteriori dettagli, consulta la sezione Report supportati.

      Dati di trasferimento di CSS Center.

    • (Facoltativo) Nella sezione Opzioni di notifica:

      • Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche via email. Quando abiliti questa opzione, l'amministratore dei trasferimenti riceve una notifica via email quando un'esecuzione del trasferimento non va a buon fine.
      • In Seleziona un argomento Pub/Sub, scegli il nome dell'argomento o fai clic su Crea un argomento. Questa opzione configura le notifiche dell'esecuzione di Pub/Sub per il trasferimento.
  5. Fai clic su Salva.

bq

Inserisci il comando bq mk e fornisci il flag di creazione del trasferimento --transfer_config. Sono richiesti anche i seguenti flag:

  • --data_source
  • --target_dataset
  • --display_name
  • --params

Puoi anche fornire il flag --project_id per specificare un particolare progetto. Se --project_id non è specificato, viene utilizzato il progetto predefinito.

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Dove:

  • project_id è l'ID progetto.
  • dataset è il set di dati di destinazione per la configurazione di trasferimento.
  • name è il nome visualizzato della configurazione di trasferimento. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.
  • parameters contiene i parametri per la configurazione di trasferimento creata in formato JSON. Ad esempio: --params='{"param":"param_value"}'.
    • css_id: l'ID del dominio CSS.
    • export_products: se trasferire o meno i dati relativi ai problemi relativi al prodotto. Questo parametro è incluso per impostazione predefinita, anche se non specifichi il parametro export_products. Ti consigliamo di includere questo parametro in modo esplicito e di impostarlo su true.
  • data_source è l'origine dati, css_center.

Ad esempio, il comando seguente crea un trasferimento CSS Center denominato My Transfer utilizzando l'ID dominio CSS 1234 e il set di dati di destinazione mydataset. Il trasferimento viene creato nel progetto predefinito.

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"css_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=css_center

La prima volta che esegui il comando, viene visualizzato un messaggio simile al seguente:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Segui le istruzioni nel messaggio e incolla il codice di autenticazione nella riga di comando.

API

Utilizza il metodo projects.locations.transferConfigs.create e fornisci un'istanza della risorsa TransferConfig.