Utilizzare trasferimenti di terze parti

I trasferimenti di terze parti per BigQuery Data Transfer Service consentono di pianificare e gestire automaticamente i job di caricamento ricorrenti per origini dati esterne come Salesforce CRM, Adobe Analytics e Facebook Ads.

Prima di iniziare

Prima di creare un trasferimento di dati di terze parti:

• Verifica di aver completato tutte le azioni necessarie per abilitare BigQuery Data Transfer Service.
• Crea un set di dati BigQuery per archiviare i dati.

• Assicurati che la persona che crea il trasferimento disponga delle seguenti autorizzazioni richieste in BigQuery:

  • bigquery.transfers.update autorizzazioni per creare il trasferimento
  • Sia le autorizzazioni bigquery.datasets.get che bigquery.datasets.update per il set di dati di destinazione

  Il ruolo IAM predefinito bigquery.admin include le autorizzazioni bigquery.transfers.update, bigquery.datasets.update e bigquery.datasets.get. Per ulteriori informazioni sui ruoli IAM in BigQuery Data Transfer Service, consulta Controllo dell'accesso.

• Consulta la documentazione dell'origine dati di terze parti per assicurarti di aver configurato le autorizzazioni necessarie per abilitare il trasferimento.

• Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub, devi disporre delle autorizzazioni pubsub.topics.setIamPolicy. Le autorizzazioni Pub/Sub non sono necessarie se hai solo configurato le notifiche via email. Per ulteriori informazioni, consulta Notifiche di esecuzione di BigQuery Data Transfer Service.

Limitazioni

I trasferimenti di terze parti sono soggetti alle seguenti limitazioni:

• Devi creare o aggiornare un trasferimento di terze parti utilizzando la console Google Cloud.
• Attualmente, non puoi configurare o aggiornare i trasferimenti di terze parti utilizzando lo strumento a riga di comando bq.

Configura un trasferimento di dati di terze parti

Per creare un trasferimento di dati di terze parti utilizzando la console Google Cloud:

1. Vai a Google Cloud Marketplace.

   Vai a Google Cloud Marketplace

2. Fai clic sul fornitore di terze parti appropriato.

3. Nella pagina della documentazione del provider di terze parti, fai clic su Registrati. La procedura di registrazione potrebbe richiedere alcuni istanti.

4. Al termine della registrazione, fai clic su Configura trasferimento.

5. Nella pagina Crea trasferimento:

   • Per Origine, scegli l'origine dati di terze parti appropriata. Puoi fare clic su Esplora origini dati per visualizzare l'elenco dei provider di terze parti in Google Cloud Marketplace.

     

   • In Nome visualizzato, inserisci un nome per il trasferimento, ad esempio My Transfer. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare facilmente il trasferimento se devi modificarlo in un secondo momento.

     

   • Per Pianificazione, lascia il valore predefinito (Inizia ora) o fai clic su Avvia a un orario prestabilito.

     • In Ripetizioni, scegli un'opzione relativa alla frequenza di esecuzione del trasferimento. Tra le opzioni disponibili sono incluse le seguenti:

       • Giornaliera (impostazione predefinita)
       • Ogni settimana
       • Mensile
       • Personalizzata
       • On demand

       Se scegli un'opzione diversa da Giornaliera, saranno disponibili opzioni aggiuntive. Ad esempio, se scegli Settimanale, viene visualizzata l'opzione che consente di selezionare il giorno della settimana.

     • In Data di inizio e ora di esecuzione, inserisci la data e l'ora di inizio del trasferimento. Se scegli Inizia ora, questa opzione viene disattivata.

       

   • In Set di dati di destinazione, scegli il set di dati che hai creato per archiviare i dati.

     

   • (Facoltativo) Nella sezione Opzioni di notifica:

     • Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche via email. Quando abiliti questa opzione, l'amministratore del trasferimento riceve una notifica via email quando un'esecuzione del trasferimento non va a buon fine.
     • In Seleziona un argomento Pub/Sub, scegli il nome dell'argomento o fai clic su Crea un argomento per crearne uno. Questa opzione configura le notifiche dell'esecuzione di Pub/Sub per il trasferimento.

6. Fai clic su Connetti origine.

   Nota: se non hai selezionato un set di dati di destinazione, facendo clic su Connetti origine ottieni il seguente errore: A selected destination dataset is required before connecting to the source.

7. Quando richiesto, fai clic su Accetta per concedere a BigQuery Data Transfer Service l'autorizzazione a connettersi all'origine dati e a gestire i tuoi dati in BigQuery.

8. Segui le istruzioni nelle pagine successive per configurare la connessione all'origine dati esterna.

9. Una volta completati i passaggi di configurazione, fai clic su Salva.

Risolvere i problemi di configurazione del trasferimento di terze parti

Se hai problemi durante la configurazione del trasferimento, consulta il fornitore di terze parti appropriato. I dati di contatto sono disponibili nella pagina della documentazione del trasferimento in Google Cloud Marketplace.

Esegui query sui dati

Quando i dati vengono trasferiti in BigQuery, vengono scritti in tabelle partizionate per la fase di importazione. Per ulteriori informazioni, consulta Introduzione alle tabelle partizionate.

Se esegui query direttamente sulle tabelle anziché utilizzare le viste generate automaticamente, devi utilizzare la pseudo-colonna _PARTITIONTIME nella query. Per ulteriori informazioni, consulta la pagina relativa all'esecuzione di query sulle tabelle partizionate.

Passaggi successivi

• Per una panoramica di BigQuery Data Transfer Service, consulta Introduzione a BigQuery Data Transfer Service.
• Per informazioni sull'utilizzo dei trasferimenti, tra cui il recupero di informazioni su una configurazione di trasferimento, l'elenco delle configurazioni di trasferimento e la visualizzazione della cronologia delle esecuzioni di un trasferimento, vedi Utilizzo dei trasferimenti.