Autorizzare gli account per il trasferimento dei dati

Questo documento fornisce una panoramica di come BigQuery Data Transfer Service interagisce con diversi tipi di account, i tipi di autorizzazione dell'account necessari per eseguire attività di trasferimento generali e i passaggi per la risoluzione dei problemi relativi agli errori di autorizzazione comuni.

Per iniziare a utilizzare BigQuery Data Transfer Service, assicurati che gli account associati al tuo progetto, sia gli account utente che gli account di servizio, siano autenticati e autorizzati con le autorizzazioni corrette per soddisfare le tue esigenze di trasferimento. Per informazioni sulle autorizzazioni specifiche per l'origine dati, consulta la guida al trasferimento per ogni origine dati.

Concetti fondamentali

BigQuery Data Transfer Service automatizza i trasferimenti di dati da varie origini in BigQuery. Il modello di autenticazione e autorizzazione opera in due fasi diverse, il piano di controllo e il piano di dati, e per due tipi di utenti, un creator di trasferimenti o un proprietario del trasferimento.

Piano di controllo

Il piano di controllo rappresenta la fase del processo di autorizzazione in cui un utente autenticato è in grado di controllare e gestire le configurazioni e le esecuzioni del trasferimento. Un utente nel piano di controllo deve disporre delle autorizzazioni IAM (Identity and Access Management) appropriate per controllare e gestire le configurazioni e le esecuzioni dei trasferimenti:

• L'autorizzazione bigquery.transfers.update, che consente agli utenti di svolgere le seguenti operazioni:
  • Configura le configurazioni di trasferimento dei dati.
  • Amministrare i trasferimenti esistenti, ad esempio aggiornare, disattivare o eliminare un trasferimento.
• L'autorizzazione bigquery.transfers.get, che consente agli utenti di monitorare le esecuzioni del trasferimento, ad esempio controllare lo stato dell'esecuzione del trasferimento o visualizzare la cronologia e i log delle esecuzioni del trasferimento.

Se utilizzi la console Google Cloud o lo strumento a riga di comando bq per creare un trasferimento, devi disporre anche dell'autorizzazione bigquery.transfers.get.

L'autorizzazione bigquery.transfers.update non è necessaria per configurare una query pianificata. Per ulteriori informazioni, consulta le autorizzazioni richieste per le query pianificate.

Piano dati

Il data plane rappresenta la fase al di fuori del controllo diretto di un utente. Nel piano di dati, BigQuery Data Transfer Service è in grado di eseguire i trasferimenti di dati in modalità offline e può attivare automaticamente le esecuzioni dei trasferimenti in base a una pianificazione specificata dall'utente. Nel piano dati, le credenziali del proprietario del trasferimento vengono utilizzate per accedere ai dati di origine e, a seconda dell'origine dati, le credenziali del proprietario del trasferimento o l'agente di servizio di BigQuery Data Transfer Service vengono utilizzate per avviare i job BigQuery e scrivere i dati nel set di dati di destinazione.

Per ulteriori dettagli sulle autorizzazioni richieste, consulta le seguenti sezioni di questa guida:

• Autorizzazione di accesso in lettura per le origini dati esterne
• Autorizzazione per avviare i job BigQuery
• Autorizzazione per eseguire job BigQuery e scrivere dati nel set di dati di destinazione

Trasferire il creator o il proprietario

Un creatore del trasferimento si riferisce all'identità dell'utente che ha creato e configurato la configurazione del trasferimento. Un utente e un creatore di trasferimenti di BigQuery Data Transfer Service possono essere un account utente o un account di servizio.

Un proprietario del trasferimento si riferisce all'identità utente utilizzata da BigQuery Data Transfer Service per autorizzare il trasferimento dei dati, in particolare per estrarre i dati di origine. Per le origini dati che supportano gli account di servizio, il proprietario del trasferimento può essere un account utente o un account di servizio. Per altre origini dati, il proprietario del trasferimento deve essere un account utente.

Il proprietario del trasferimento e il creator del trasferimento possono avere la stessa identità utente, ma non è un requisito. Esistono diversi modi per impostare il proprietario del trasferimento su un utente diverso da quello che ha creato il trasferimento:

• Quando crei un trasferimento, puoi impostare il proprietario su un account di servizio se l'origine dati supporta gli account di servizio.
• Una volta creato un trasferimento, puoi trasferire la proprietà a un nuovo account utente (o a un account di servizio, se l'origine dati supporta gli account di servizio) che dispone delle autorizzazioni bigquery.transfers.update e bigquery.transfers.get. Devi aver eseguito l'accesso al nuovo account quando aggiorni le credenziali.

Autorizzazione di accesso in lettura per le origini dati esterne

Le autorizzazioni necessarie per leggere i dati di origine possono variare da un'origine dati all'altra. Ad esempio, per accedere a Google Ads sono necessarie autorizzazioni di accesso in lettura all'ID cliente Google Ads. Analogamente, Google Play richiede l'accesso ai report in Google Play Console. Per ulteriori informazioni sulle autorizzazioni specifiche per un'origine dati, consulta le guide al trasferimento per ogni origine dati.

A seconda del tipo di identità del proprietario del trasferimento, è necessario un metodo di autorizzazione diverso per recuperare il token di accesso per accedere ai dati di origine.

Trasferire la proprietà come account di servizio

Quando viene utilizzato un account di servizio come proprietario del trasferimento, le autorizzazioni necessarie vengono concesse automaticamente quando l'API BigQuery Data Transfer Service è abilitata per il progetto. BigQuery Data Transfer Service utilizza un agente di servizio per ottenere il token di accesso per l'account di servizio fornito dall'utente (proprietario del trasferimento).

Quando attivi l'API BigQuery Data Transfer Service, viene creato un agente di servizio per il tuo progetto. Il sistema concede inoltre all'agente di servizio il ruolo BigQuery Data Transfer Service Agent (roles/bigquerydatatransfer.serviceAgent), che include l'autorizzazione iam.serviceAccounts.getAccessToken. Questa permissione consente all'agente di servizio BigQuery Data Transfer Service di rubare l'identità dell'account di servizio del proprietario del trasferimento per recuperare il token di accesso.

Per ulteriori informazioni sull'agente di servizio BigQuery Data Transfer Service, consulta Agente di servizio. Per ulteriori informazioni sull'utilizzo dei service account e sull'elenco aggiornato delle origini dati che supportano i service account, consulta Utilizzare i service account.

Avviso: non rimuovere il ruolo predefinito dall'agente di servizio. Il ruolo Agente BigQuery Data Transfer Service è necessario per il funzionamento di BigQuery Data Transfer Service.

Trasferire la proprietà come account utente

Se il proprietario del trasferimento che crea la configurazione del trasferimento è un account utente (non un account di servizio), devi concedere manualmente l'autorizzazione a BigQuery Data Transfer Service per ottenere il token di accesso per l'account utente e accedere ai dati di origine per conto del proprietario del trasferimento. Puoi concedere l'approvazione manualmente con l'interfaccia della finestra di dialogo OAuth.

Devi concedere l'autorizzazione a BigQuery Data Transfer Service solo la prima volta che crei un trasferimento per una determinata origine dati. Devi concedere nuovamente l'autorizzazione quando crei il primo trasferimento per una regione appena utilizzata, anche se utilizzi la stessa origine dati. I trasferimenti dei dati dai canali YouTube fanno eccezione: devi concedere manualmente l'approvazione delle autorizzazioni ogni volta che crei un trasferimento dei dati del canale YouTube.

La modifica del proprietario del trasferimento aggiornando le credenziali richiede anche l'approvazione manuale se il nuovo proprietario non ha mai creato un trasferimento per l'origine dati in quella regione.

Lo screenshot seguente mostra l'interfaccia della finestra di dialogo OAuth quando crei un trasferimento da Google Ads. La finestra di dialogo mostra le autorizzazioni specifiche dell'origine dati da concedere:

Nota: BigQuery Data Transfer Service non supporta più il parametro authorization_code per i trasferimenti di dati dei canali YouTube. Puoi utilizzare il parametro version_info per fornire il risultato dell'autorizzazione al trasferimento in modo che possa ottenere le credenziali. Il parametro version_info è obbligatorio solo nelle chiamate dell'interfaccia a riga di comando bq o dell'API.

Per revocare le autorizzazioni concesse:

1. Vai alla pagina del tuo Account Google.
2. Fai clic su BigQuery Data Transfer Service.
3. Per revocare le autorizzazioni, fai clic su Rimuovi accesso.

Avviso: la revoca delle autorizzazioni di accesso impedisce qualsiasi esecuzione futura dei trasferimenti per le configurazioni di trasferimento di proprietà di questo account in tutte le regioni.

Autorizzazione per avviare job BigQuery

Quando esegui la migrazione dalla maggior parte delle origini dati, ad eccezione della migrazione utilizzando query pianificate o copie dei set di dati, BigQuery Data Transfer Service si basa su agenti di servizio per avviare i job BigQuery per il tuo progetto. L'autorizzazione richiesta bigquery.job.create viene assegnata automaticamente all'agente di servizio quando attivi l'API BigQuery Data Transfer Service per il tuo progetto. Per ulteriori informazioni, consulta Abilitare BigQuery Data Transfer Service.

Quando esegui la migrazione utilizzando le query pianificate o le copie dei set di dati, BigQuery Data Transfer Service utilizza le credenziali del proprietario del trasferimento per avviare i job BigQuery.

Avviso: non rimuovere il ruolo predefinito dall'agente di servizio. Il ruolo agente di servizio è necessario per il funzionamento di BigQuery Data Transfer Service.

Autorizzazione per eseguire job BigQuery e scrivere dati nel set di dati di destinazione

Quando esegui la migrazione dalla maggior parte delle origini dati, tranne quando utilizzi query pianificate o copie dei set di dati, BigQuery Data Transfer Service si basa sull'agente di servizio per scrivere i dati nel set di dati di destinazione BigQuery. L'autorizzazione richiesta,roles/bigquery.dataEditor, viene concessa all'agente di servizio da BigQuery Data Transfer Service quando crei il trasferimento. Per concedere l'autorizzazione, devi disporre dell'autorizzazione bigquery.datasets.update per il set di dati di destinazione.

Quando esegui la migrazione utilizzando query programmate o copie dei set di dati, BigQuery Data Transfer Service utilizza le credenziali del proprietario del trasferimento per eseguire i job BigQuery e scrivere i dati nel set di dati di destinazione BigQuery.

Nota: il ruolo roles/bigquery.dataEditor concesso all'agente BigQuery Data Transfer Service è limitato solo al set di dati di destinazione utilizzato in una configurazione di trasferimento. Gli altri set di dati BigQuery nello stesso progetto non sono interessati.

Avviso: non rimuovere il ruolo roles/bigquery.dataEditor dell'agente di servizio dal set di dati di destinazione. Il ruolo roles/bigquery.dataEditor è necessario per il funzionamento di BigQuery Data Transfer Service.

Risolvere i problemi relativi alle autorizzazioni

Se riscontri problemi di autorizzazione o autorizzazioni per il trasferimento, consulta Problemi di autorizzazione e autorizzazioni.