Utilizzare trasferimenti di terze parti
I trasferimenti di terze parti per BigQuery Data Transfer Service ti consentono di pianificare e gestire job di caricamento ricorrenti per origini dati esterne come CRM di Salesforce, Adobe Analytics e Facebook Ads.
Prima di iniziare
Prima di creare un trasferimento di dati di terze parti:
- Verifica di aver completato tutte le azioni richieste per abilitare BigQuery Data Transfer Service.
- Crea un set di dati BigQuery in cui archiviare i dati.
Assicurati che la persona che crea il trasferimento abbia quanto segue richiesto autorizzazioni in BigQuery:
bigquery.transfers.update
autorizzazioni per creare il trasferimento- Autorizzazioni
bigquery.datasets.get
ebigquery.datasets.update
attive il set di dati di destinazione
Il ruolo IAM predefinito
bigquery.admin
includebigquery.transfers.update
,bigquery.datasets.update
e Autorizzazionibigquery.datasets.get
. Per ulteriori informazioni sui ruoli IAM in BigQuery Data Transfer Service, consulta Controllo dell'accesso.Consulta la documentazione dell'origine dati di terze parti per assicurarti di avere configurato le autorizzazioni necessarie per abilitare il trasferimento.
Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub, deve avere le autorizzazioni
pubsub.topics.setIamPolicy
. Pub/Sub le autorizzazioni non sono necessarie se hai appena configurato le notifiche via email. Per ulteriori informazioni le informazioni, vedi Notifiche di esecuzione di BigQuery Data Transfer Service.
Limitazioni
I trasferimenti di terze parti sono soggetti alle seguenti limitazioni:
- Devi creare o aggiornare un trasferimento di terze parti utilizzando il metodo nella console Google Cloud.
- Attualmente, non puoi configurare o aggiornare trasferimenti di terze parti utilizzando il metodo a riga di comando bq.
Configurare un trasferimento di dati di terze parti
Per creare un trasferimento di dati di terze parti utilizzando la console Google Cloud:
Vai a Google Cloud Marketplace.
Fai clic sul fornitore di terze parti appropriato.
Nella pagina della documentazione relativa al fornitore di terze parti, fai clic su Registrati. La procedura di registrazione può richiedere alcuni istanti.
Al termine della registrazione, fai clic su Configura trasferimento.
Nella pagina Crea trasferimento:
Per Origine, scegli l'origine dati di terze parti appropriata. Puoi Fai clic su Esplora le origini dati per visualizzare l'elenco dei provider di terze parti. in Google Cloud Marketplace.
In Nome visualizzato, inserisci un nome per il trasferimento, ad esempio
My Transfer
. Il nome del trasferimento può essere qualsiasi valore che consenta di identificare facilmente se devi modificarlo in un secondo momento.In Schedule, lascia il valore predefinito (Start now) oppure fai clic su Inizia a un orario prestabilito.
In Si ripete, scegli un'opzione per la frequenza di esecuzione del trasferimento. Le opzioni includono:
- Ogni giorno (impostazione predefinita)
- Ogni settimana
- Ogni mese
- Personalizzato
- On demand
Se scegli un'opzione diversa da Giornaliero, le opzioni aggiuntive saranno disponibili. Ad esempio, se scegli Settimanale, viene visualizzata un'opzione per selezionare il giorno della settimana.
In Data di inizio e ora di esecuzione, inserisci la data e l'ora di inizio trasferimento. Se scegli Inizia ora, questa opzione è disattivata.
Per Set di dati di destinazione, scegli il set di dati che hai creato per archiviare e i dati di Google Cloud.
(Facoltativo) Nella sezione Opzioni di notifica:
- Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche via email. Se attivi questa opzione, l'amministratore dei trasferimenti riceve una notifica via email quando l'esecuzione del trasferimento non va a buon fine.
- Per Seleziona un argomento Pub/Sub, scegli l'argomento o fai clic su Crea un argomento per crearne uno. Questa opzione configura Esecuzione di notifiche in Pub/Sub per il trasferimento.
Fai clic su Connetti origine.
Quando richiesto, fai clic su Accetta per autorizzare BigQuery Data Transfer Service. per connetterti all'origine dati e gestire i tuoi dati in BigQuery.
Segui le istruzioni nelle pagine successive per configurare la connessione all'origine dati esterna.
Dopo aver completato la procedura di configurazione, fai clic su Salva.
Risolvere i problemi di configurazione del trasferimento di terze parti
Se riscontri problemi durante la configurazione del trasferimento, consulta la terza parte di terze parti. I dati di contatto sono disponibili nella documentazione relativa al trasferimento in Google Cloud Marketplace.
Eseguire query sui dati
Quando vengono trasferiti in BigQuery, i dati vengono vengono scritte in tabelle partizionate in fase di importazione. Per ulteriori informazioni, vedi Introduzione alle tabelle partizionate.
Se esegui una query direttamente sulle tabelle anziché utilizzare le viste generate automaticamente,
deve utilizzare la pseudocolonna _PARTITIONTIME
nella query. Per ulteriori informazioni,
consulta Esecuzione di query su tabelle partizionate.
Passaggi successivi
- Per una panoramica di BigQuery Data Transfer Service, consulta Introduzione a BigQuery Data Transfer Service.
- Per informazioni sull'utilizzo dei cambi, inclusa la ricerca di informazioni su un configurazione di trasferimento, elencare le configurazioni di trasferimento e visualizzare cronologia esecuzioni del trasferimento, vedi Utilizzo dei trasferimenti.