Pianificare un trasferimento del Comparison Shopping Service Center
Questo documento mostra come pianificare e gestire i job di caricamento ricorrenti per i dati dei report di CSS Center utilizzando BigQuery Data Transfer Service.
Prima di iniziare
Prima di creare un trasferimento di dati di CSS Center:
- Abilita BigQuery Data Transfer Service.
- Crea un set di dati BigQuery
per archiviare i dati di CSS Center.
- Per la regione del set di dati, supportiamo l'utilizzo dell'opzione predefinita Più regioni negli Stati Uniti o nell'UE.
- Se vuoi creare un set di dati in una regione specifica, il CSS Center Il trasferimento di dati è supportato solo nelle seguenti regioni:
us-east4 (Northern Virginia)
,asia-northeast1 (Tokyo)
,asia-southeast1 (Singapore)
,australia-southeast1 (Sydney)
,europe-north1 (Findland)
,europe-west2 (London)
,europe-west6 (Zurich)
.
- Per creare un trasferimento dei dati di CSS Center, devi disporre dell'ID dominio CSS.
- Se intendi configurare le notifiche di esecuzione dei trasferimenti per Pub/Sub, devi disporre delle autorizzazioni
pubsub.topics.setIamPolicy
. Pub/Sub le autorizzazioni non sono necessarie se configuri solo le notifiche via email. Per maggiori informazioni le informazioni, vedi Notifiche di esecuzione di BigQuery Data Transfer Service.
Autorizzazioni obbligatorie
Assicurati che all'utente che crea il trasferimento di dati sia richiesto quanto segue autorizzazioni aggiuntive.
Per BigQuery:
Per ottenere le autorizzazioni necessarie per creare un trasferimento,
chiedi all'amministratore di concederti
Ruolo IAM Amministratore BigQuery (roles/bigquery.admin
).
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Questo ruolo predefinito contiene le autorizzazioni necessarie per creare un trasferimento. Per vedere le autorizzazioni esatte obbligatorie, espandi la sezione Autorizzazioni obbligatorie:
Autorizzazioni obbligatorie
Per creare un trasferimento sono necessarie le seguenti autorizzazioni:
-
bigquery.transfers.update
sull'utente -
bigquery.datasets.get
nel set di dati di destinazione -
bigquery.datasets.update
sul set di dati di destinazione
Potresti anche riuscire a ottenere queste autorizzazioni con ruoli personalizzati altri ruoli predefiniti.
Per il CSS Center:
Devi avere accesso all'account CSS Center utilizzato nella configurazione del trasferimento.
Configurare un trasferimento di CSS Center
Per creare un trasferimento di dati per i report di CSS Center:
Console
Vai alla pagina Trasferimenti dati nella console Google Cloud.
Fai clic su
Crea trasferimento.Nella pagina Crea trasferimento:
Nella sezione Tipo di origine, per Origine, scegli Google CSS Center.
Nella sezione Nome configurazione di trasferimento, in Nome visualizzato, inserisci un nome per il trasferimento dei dati, ad esempio
My Transfer
. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.La sezione Opzioni di pianificazione non è configurabile. I trasferimenti di dati del Centro CSS vengono pianificati per essere eseguiti una volta ogni 24 ore.
Nella sezione Impostazioni di destinazione, per Set di dati di destinazione, scegli il set di dati che hai creato per archiviare i dati.
Nella sezione Dettagli dell'origine dati, in ID CSS, inserisci l'ID del tuo dominio CSS.
Seleziona i report che vuoi trasferire. Vedi Report supportati per ulteriori dettagli.
(Facoltativo) Nella sezione Opzioni di notifica:
- Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche via email. Se attivi questa opzione, l'amministratore del trasferimento riceve una notifica via email quando un trasferimento non va a buon fine.
- Per Seleziona un argomento Pub/Sub, scegli l'argomento o fai clic su Crea un argomento. Questa opzione configura le notifiche di esecuzione di Pub/Sub per il trasferimento dei dati.
Fai clic su Salva.
bq
Inserisci il comando bq mk
e specifica il flag di creazione del trasferimento:
--transfer_config
. Sono obbligatori anche i seguenti flag:
--data_source
--target_dataset
--display_name
--params
Puoi anche fornire il flag --project_id
per specificare un progetto specifico. Se --project_id
non è specificato, viene utilizzato il progetto predefinito.
bq mk \ --transfer_config \ --project_id=project_id \ --target_dataset=dataset \ --display_name=name \ --params='parameters' \ --data_source=data_source
Dove:
- project_id è l'ID progetto.
- dataset è il set di dati di destinazione per la configurazione del trasferimento di dati.
- name è il nome visualizzato della configurazione di trasferimento dei dati. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.
- parameters contiene i parametri per il trasferimento di dati creato
configurazione in formato JSON. Ad esempio:
--params='{"param":"param_value"}'
.css_id
: l'ID dominio CSS.export_products
: se trasferire o meno i dati relativi ai prodotti e ai relativi problemi. Questo parametro è incluso per impostazione predefinita, anche se non specifichi il parametroexport_products
. Ti consigliamo di includere questo parametro esplicitamente e di impostarlo sutrue
.
- data_source è l'origine dati -
css_center
.
Ad esempio, il seguente comando crea un trasferimento di dati di CSS Center
denominato My Transfer
utilizzando l'ID dominio CSS 1234
e il set di dati di destinazione
mydataset
. Il trasferimento dei dati viene creato nel progetto predefinito.
bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"css_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=css_center
La prima volta che esegui il comando, ricevi un messaggio simile al seguente:
[URL omitted] Please copy and paste the above URL into your web browser and
follow the instructions to retrieve an authentication code.
Segui le istruzioni nel messaggio e incolla il codice di autenticazione nella riga di comando.
API
Utilizza il metodo projects.locations.transferConfigs.create
e fornisci un'istanza della risorsa TransferConfig
.