Gestisci trasferimenti
Questo documento mostra come gestire le configurazioni di Data Transfer esistenti.
Puoi anche attivare manualmente un trasferimento esistente, noto anche come avviare un' esecuzione di backfill.
Visualizza i trasferimenti
Visualizza le configurazioni di trasferimento esistenti visualizzando le informazioni su ciascun trasferimento, elencando tutti i trasferimenti esistenti e visualizzando la cronologia delle esecuzioni dei trasferimenti o i messaggi di log.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per visualizzare i dettagli del trasferimento,
chiedi all'amministratore di concederti il ruolo IAM
Utente BigQuery (roles/bigquery.user
) per il progetto.
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.
Potresti anche essere in grado di ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Inoltre, per visualizzare i messaggi di log tramite la console Google Cloud, devi disporre delle autorizzazioni per visualizzare i dati di Cloud Logging. Il ruolo Visualizzatore log (roles/logging.viewer
) ti consente l'accesso di sola lettura a tutte le funzionalità di Logging. Per ulteriori informazioni sulle autorizzazioni e sui ruoli di Identity and Access Management (IAM) che si applicano ai dati dei log di Cloud, consulta la guida al controllo dell'accesso di Cloud Logging.
Per ulteriori informazioni sui ruoli IAM in BigQuery Data Transfer Service, consulta Controllo dell'accesso.
Ottieni dettagli del trasferimento
Dopo aver creato un trasferimento, puoi ottenere informazioni sulla configurazione del trasferimento. La configurazione include i valori che hai fornito al momento della creazione del trasferimento, nonché altre informazioni importanti come i nomi delle risorse.
Per ottenere informazioni su una configurazione di trasferimento:
Console
Vai alla pagina Trasferimenti di dati.
Seleziona il trasferimento di cui vuoi ottenere i dettagli.
Per vedere la configurazione di trasferimento e i dettagli dell'origine dati, fai clic su Configurazione nella pagina Dettagli trasferimento. L'esempio seguente mostra le proprietà di configurazione per un trasferimento Google Ads:
bq
Inserisci il comando bq show
e fornisci il nome della risorsa della configurazione di trasferimento. Il flag --format
può essere usato per controllare il formato dell'output.
bq show \
--format=prettyjson \
--transfer_config resource_name
Sostituisci resource_name
con il nome della risorsa del trasferimento (noto anche come configurazione di trasferimento). Se non conosci il nome della risorsa del trasferimento, trova il nome della risorsa con:
bq ls --transfer_config --transfer_location=location
.
Ad esempio, inserisci il comando seguente per visualizzare la configurazione di trasferimento per projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq show \
--format=prettyjson \
--transfer_config projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Utilizza il metodo projects.locations.transferConfigs.get
e fornisci la configurazione di trasferimento utilizzando il parametro name
.
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Elenca configurazioni di trasferimento
Per elencare tutte le configurazioni di trasferimento esistenti in un progetto:
Console
Nella console Google Cloud, vai alla pagina Trasferimenti di dati.
Se nel progetto esistono configurazioni di trasferimento, viene visualizzato un elenco di queste configurazioni.
bq
Per elencare tutte le configurazioni di trasferimento per un progetto in base alla località, inserisci il comando bq ls
e fornisci i flag --transfer_location
e --transfer_config
. Puoi anche fornire il flag --project_id
per specificare un particolare progetto. Se --project_id
non è specificato, viene utilizzato il progetto predefinito.
Il flag --format
può essere usato per controllare il formato dell'output.
Per elencare le configurazioni di trasferimento per determinate origini dati, fornisci il flag --filter
.
Per visualizzare un determinato numero di configurazioni di trasferimento in formato suddiviso in pagine, fornisci il flag --max_results
per specificare il numero di trasferimenti. Il comando restituisce un token di pagina da te fornito utilizzando il flag --page_token
per vedere le n configurazioni successive. Esiste un limite di 1000 configurazioni che verranno restituite se --max_results
viene omesso e --max_results
non accetterà valori superiori a 1000. Se il progetto ha più di 1000 configurazioni, usa --max_results
e --page_token
per eseguirle tutte.
bq ls \ --transfer_config \ --transfer_location=location \ --project_id=project_id \ --max_results=integer \ --filter=dataSourceIds:data_sources
Sostituisci quanto segue:
location
è la località delle configurazioni di trasferimento. La località viene specificata quando crei un trasferimento.project_id
è l'ID progetto.integer
è il numero di risultati da mostrare per ogni pagina.data_sources
corrisponde a uno o più dei seguenti elementi:amazon_s3
- Trasferimento dati Amazon S3azure_blob_storage
- Trasferimento dati nello spazio di archiviazione BLOB di Azuredcm_dt
- Trasferimento dati Campaign Managergoogle_cloud_storage
- Trasferimento dati Cloud Storagecross_region_copy
- Copia del set di datidfp_dt
- Trasferimento di dati Google Ad Manageradwords
- Trasferimento dei dati Google Adsgoogle_ads
- Trasferimento di dati Google Ads (anteprima)merchant_center
- Trasferimento dati Google Merchant Centerplay
- Trasferimento di dati Google Playscheduled_query
- Trasferimento di dati delle query pianificatedoubleclick_search
- Trasferimento dati Search Ads 360youtube_channel
- Trasferimento di dati dei canali YouTubeyoutube_content_owner
- Trasferimento di dati del proprietario dei contenuti di YouTuberedshift
- Migrazione di Amazon Redshifton_premises
- Migrazione di Teradata
Esempi:
Inserisci il comando seguente per visualizzare tutte le configurazioni di trasferimento negli Stati Uniti per il tuo progetto predefinito. L'output è controllato mediante il flag --format
.
bq ls \
--format=prettyjson \
--transfer_config \
--transfer_location=us
Inserisci il comando seguente per visualizzare tutte le configurazioni di trasferimento negli Stati Uniti per l'ID progetto myproject
.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject
Inserisci il comando seguente per elencare le tre configurazioni di trasferimento più recenti.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--max_results=3
Il comando restituisce un token della pagina successiva. Copia il token della pagina e forniscilo nel comando bq ls
per vedere i 3 risultati successivi.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--max_results=3 \
--page_token=AB1CdEfg_hIJKL
Inserisci il comando seguente per elencare le configurazioni di trasferimento di Ads e Campaign Manager per l'ID progetto myproject
.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--filter=dataSourceIds:dcm_dt,google_ads
API
Utilizza il metodo projects.locations.transferConfigs.list
e fornisci l'ID progetto utilizzando il parametro parent
.
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Python.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Visualizza la cronologia delle esecuzioni del trasferimento
Mentre vengono eseguiti i trasferimenti pianificati, viene conservata una cronologia per ogni configurazione di trasferimento che include le esecuzioni di trasferimento riuscite e quelle non riuscite. Le esecuzioni del trasferimento più vecchie di 90 giorni vengono eliminate automaticamente dalla cronologia delle esecuzioni.
Per visualizzare la cronologia delle esecuzioni di una configurazione di trasferimento:
Console
Nella console Google Cloud, vai alla pagina Trasferimenti di dati.
Fai clic sul trasferimento nell'elenco dei trasferimenti di dati.
Ti troverai sulla pagina ESEGUI CRONOLOGIA del trasferimento selezionato.
bq
Per elencare le esecuzioni del trasferimento per una determinata configurazione di trasferimento, inserisci il comando bq
ls
e fornisci il flag --transfer_run
. Puoi anche fornire il flag --project_id
per specificare un particolare progetto. Se resource_name
non contiene informazioni sul progetto, viene utilizzato il valore --project_id
. Se --project_id
non è specificato, viene utilizzato il progetto predefinito. Il flag --format
può essere utilizzato per controllare il formato dell'output.
Per visualizzare un determinato numero di esecuzioni di trasferimenti, fornisci il flag --max_results
. Il comando restituisce un token di pagina da te fornito utilizzando il flag --page_token
per vedere le n configurazioni successive.
Per elencare le esecuzioni del trasferimento in base allo stato dell'esecuzione, fornisci il flag --filter
.
bq ls \ --transfer_run \ --max_results=integer \ --transfer_location=location \ --project_id=project_id \ --filter=states:state, ... \ resource_name
Sostituisci quanto segue:
integer
è il numero di risultati da restituire.location
è la località delle configurazioni di trasferimento. La località viene specificata quando crei un trasferimento.project_id
è l'ID progetto.state, ...
è uno dei seguenti o un elenco separato da virgole:SUCCEEDED
FAILED
PENDING
RUNNING
CANCELLED
resource_name
è il nome della risorsa del trasferimento (noto anche come configurazione del trasferimento). Se non conosci il nome della risorsa del trasferimento, trova il nome della risorsa con:bq ls --transfer_config --transfer_location=location
.
Esempi:
Inserisci il seguente comando per visualizzare le ultime 3 esecuzioni della configurazione di trasferimento projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
L'output è controllato mediante il flag --format
.
bq ls \
--format=prettyjson \
--transfer_run \
--max_results=3 \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
Il comando restituisce un token della pagina successiva. Copia il token della pagina e forniscilo nel comando bq ls
per vedere i 3 risultati successivi.
bq ls \
--format=prettyjson \
--transfer_run \
--max_results=3 \
--page_token=AB1CdEfg_hIJKL \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
Inserisci il seguente comando per visualizzare tutte le esecuzioni non riuscite per la configurazione di trasferimento projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq ls \
--format=prettyjson \
--transfer_run \
--filter=states:FAILED \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Utilizza il metodo projects.locations.transferConfigs.runs.list
e specifica l'ID progetto utilizzando il parametro parent
.
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Visualizza i dettagli dell'esecuzione del trasferimento e i messaggi di log
Quando un'esecuzione di un trasferimento viene visualizzata nella cronologia delle esecuzioni, puoi visualizzarne i dettagli, tra cui messaggi di log, avvisi ed errori, il nome dell'esecuzione e l'ora di inizio e di fine.
Per visualizzare i dettagli dell'esecuzione del trasferimento:
Console
Nella console Google Cloud, vai alla pagina Trasferimenti di dati.
Fai clic sul trasferimento nell'elenco dei trasferimenti di dati.
Ti troverai sulla pagina ESEGUI CRONOLOGIA del trasferimento selezionato.
Fai clic su una singola esecuzione del trasferimento e si aprirà il riquadro Dettagli esecuzione per tale esecuzione.
In Esegui dettagli, annota gli eventuali messaggi di errore. Queste informazioni sono necessarie se contatti l'assistenza clienti Google Cloud. I dettagli dell'esecuzione includono anche avvisi e messaggi di log.
bq
Per visualizzare i dettagli dell'esecuzione del trasferimento, inserisci il comando bq show
e fornisci il nome dell'esecuzione del trasferimento utilizzando il flag --transfer_run
. Il flag --format
può essere usato per controllare il formato di output.
bq show \ --format=prettyjson \ --transfer_run run_name
Sostituisci run_name
con il nome esecuzione dell'esecuzione del trasferimento.
Puoi recuperare il nome dell'esecuzione utilizzando il comando bq ls
.
Esempio:
Inserisci il comando seguente per visualizzare i dettagli dell'esecuzione del trasferimento projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
.
bq show \
--format=prettyjson \
--transfer_run \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
Per visualizzare i messaggi di log del trasferimento per un'esecuzione di trasferimento, inserisci il comando bq ls
con il flag --transfer_log
. Puoi filtrare i messaggi di log per tipo usando
il flag --message_type
.
Per visualizzare un determinato numero di messaggi di log, fornisci il flag --max_results
. Il comando restituisce un token di pagina da te fornito utilizzando il flag --page_token
per vedere i successivi n messaggi.
bq ls \ --transfer_log \ --max_results=integer \ --message_type=messageTypes:message_type \ run_name
Sostituisci quanto segue:
integer
è il numero di messaggi di log da restituire.message_type
è il tipo di messaggio di log da visualizzare (un singolo valore o un elenco separato da virgole):INFO
WARNING
ERROR
run_name
è il nome dell'esecuzione dell'esecuzione del trasferimento. Puoi recuperare il nome esecuzione utilizzando il comandobq ls
.
Esempi:
Inserisci il comando seguente per visualizzare i primi due messaggi di log per l'esecuzione del trasferimento projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
.
bq ls \
--transfer_log \
--max_results=2 \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
Il comando restituisce un token della pagina successiva. Copia il token della pagina e forniscilo nel comando bq ls
per vedere i 2 risultati successivi.
bq ls \
--transfer_log \
--max_results=2 \
--page_token=AB1CdEfg_hIJKL \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
Inserisci il comando seguente per visualizzare solo i messaggi di errore relativi all'esecuzione del trasferimento projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
.
bq ls \
--transfer_log \
--message_type=messageTypes:ERROR \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
API
Utilizza il metodo projects.transferConfigs.runs.transferLogs.list
e fornisci il nome esecuzione dell'esecuzione del trasferimento utilizzando il parametro parent
.
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Modifica i trasferimenti
Puoi modificare i trasferimenti esistenti modificando le informazioni sulla configurazione di trasferimento, aggiornando le credenziali di un utente collegate a una configurazione di trasferimento e disattivando o eliminando un trasferimento.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per modificare i trasferimenti,
chiedi all'amministratore di concederti il ruolo IAM
Amministratore BigQuery (roles/bigquery.admin
) per il progetto.
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.
Potresti anche essere in grado di ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Aggiorna un trasferimento
Dopo aver creato una configurazione di trasferimento, puoi modificare i seguenti campi:
- Set di dati di destinazione
- Nome visualizzato
- Uno dei parametri specificati per il tipo di trasferimento specifico
- Esegui impostazioni di notifica
- Account di servizio
Non puoi modificare l'origine di un trasferimento dopo averlo creato.
Per aggiornare un trasferimento:
Console
Nella console Google Cloud, vai alla pagina Trasferimenti di dati.
Fai clic sul trasferimento nell'elenco dei trasferimenti di dati.
Fai clic su MODIFICA per aggiornare la configurazione di trasferimento.
bq
Inserisci il comando bq update
, fornisci il nome della risorsa della configurazione di trasferimento utilizzando il flag --transfer_config
e fornisci i flag --display_name
, --params
, --refresh_window_days
, --schedule
o --target_dataset
. Facoltativamente, puoi fornire un flag --destination_kms_key
per le query pianificate o i trasferimenti di Cloud Storage.
bq update \ --display_name='NAME' \ --params='PARAMETERS' \ --refresh_window_days=INTEGER \ --schedule='SCHEDULE' --target_dataset=DATASET_ID \ --destination_kms_key="DESTINATION_KEY" \ --transfer_config \ --service_account_name=SERVICE_ACCOUNT \ RESOURCE_NAME
Sostituisci quanto segue:
NAME
: il nome visualizzato per la configurazione di trasferimento.PARAMETERS
: i parametri per la configurazione di trasferimento in formato JSON. Ad esempio:--params='{"param1":"param_value1"}'
. I seguenti parametri sono modificabili:- Campaign Manager:
bucket
enetwork_id
- Google Ad Manager:
bucket
enetwork_code
- Google Ads:
customer_id
- Google Merchant Center:
merchant_id
- Google Play:
bucket
etable_suffix
- Query pianificata:
destination_table_kms_key
,destination_table_name_template
,partitioning_field
,partitioning_type
,query
ewrite_disposition
- Search Ads 360:
advertiser_id
,agency_id
,custom_floodlight_variables
,include_removed_entities
etable_filter
- Canale YouTube:
table_suffix
- Proprietario dei contenuti di YouTube:
content_owner_id
etable_suffix
- Campaign Manager:
INTEGER
: un valore compreso tra 0 e 30. Per informazioni sull'impostazione della finestra di aggiornamento, consulta la documentazione relativa al tipo di trasferimento.SCHEDULE
: una pianificazione ricorrente, come--schedule="every 3 hours"
. Per una descrizione della sintassi dischedule
, consulta Formattazione dischedule
.- DATASET_ID: il set di dati di destinazione per la configurazione di trasferimento.
- DESTINATION_KEY: l'ID risorsa della chiave Cloud KMS, ad esempio
projects/project_name/locations/us/keyRings/key_ring_name/cryptoKeys/key_name
. CMEK è disponibile solo per le query pianificate o i trasferimenti di Cloud Storage. - SERVICE_ACCOUNT: specifica un account di servizio da utilizzare con questo trasferimento.
- RESOURCE_NAME: nome della risorsa del trasferimento (chiamato anche configurazione del trasferimento). Se non conosci il nome della risorsa del trasferimento, trova il nome della risorsa con:
bq ls --transfer_config --transfer_location=location
.
Esempi:
Il seguente comando aggiorna il nome visualizzato, il set di dati di destinazione, la finestra di aggiornamento e i parametri per il trasferimento di Google Ads projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
:
bq update \ --display_name='My changed transfer' \ --params='{"customer_id":"123-123-5678"}' \ --refresh_window_days=3 \ --target_dataset=mydataset2 \ --transfer_config \ projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
Il seguente comando aggiorna i parametri e la pianificazione del trasferimento
pianificato delle query
projects/myproject/locations/us/transferConfigs/5678z567-5678-5z67-5yx9-56zy3c866vw9
:
bq update \ --params='{"destination_table_name_template":"test", "write_disposition":"APPEND"}' \ --schedule="every 24 hours" \ --transfer_config \ projects/myproject/locations/us/transferConfigs/5678z567-5678-5z67-5yx9-56zy3c866vw9
API
Utilizza il metodo projects.transferConfigs.patch
e fornisci il nome della risorsa del trasferimento utilizzando il parametro transferConfig.name
. Se non conosci il nome della risorsa del trasferimento, trovalo con:
bq ls --transfer_config --transfer_location=location
.
Puoi anche chiamare il metodo seguente e fornire l'ID progetto utilizzando il parametro parent
per elencare tutti i trasferimenti: projects.locations.transferConfigs.list
.
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Python.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Aggiorna credenziali
Un trasferimento utilizza le credenziali dell'utente che lo ha creato. Se devi modificare l'utente associato a una configurazione di trasferimento, puoi aggiornare le credenziali del trasferimento. Questo è utile se l'utente che ha creato il trasferimento non appartiene più alla tua organizzazione.
Per aggiornare le credenziali per un trasferimento:
Console
Nella console Google Cloud, vai alla pagina Trasferimenti di dati.
Fai clic sul trasferimento nell'elenco dei trasferimenti di dati.
Fai clic sul menu ALTRO, quindi seleziona Aggiorna credenziali.
Accedi al tuo Account Google e fai clic su Consenti per concedere a BigQuery Data Transfer Service l'autorizzazione a visualizzare i dati dei report e ad accedere e gestire i dati in BigQuery.
bq
Inserisci il comando bq update
, indica il nome della risorsa della configurazione di trasferimento utilizzando il flag --transfer_config
e fornisci il flag --update_credentials
.
bq update \ --update_credentials=boolean \ --transfer_config \ resource_name
Sostituisci quanto segue:
boolean
è un valore booleano che indica se è necessario aggiornare le credenziali per la configurazione del trasferimento.resource_name
è il nome della risorsa del trasferimento (noto anche come configurazione di trasferimento). Se non conosci il nome della risorsa trasferimento, trova il nome della risorsa con:bq ls --transfer_config --transfer_location=location
.
Esempi:
Inserisci il seguente comando per aggiornare le credenziali per il trasferimento da Google Ads projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq update \
--update_credentials=true \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Utilizza il metodo projects.transferConfigs.patch
e fornisci i parametri authorizationCode
e updateMask
.
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Python.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Disattivare un trasferimento
Quando disattivi un trasferimento, al nome del trasferimento viene aggiunto disabled. Quando il trasferimento è disattivato, non vengono pianificate nuove esecuzioni di trasferimento e non sono consentiti nuovi backfill. Tutte le esecuzioni di trasferimento in corso vengono completate.
La disattivazione di un trasferimento non rimuove i dati già trasferiti in BigQuery. I dati trasferiti in precedenza sono soggetti a costi di archiviazione standard di BigQuery finché non elimini il set di dati o elimini le tabelle.
Per disattivare un trasferimento:
Console
Nella console Google Cloud, vai alla pagina BigQuery.
Fai clic su Trasferimenti.
Nella pagina Trasferimenti, fai clic sul trasferimento nell'elenco che vuoi disabilitare.
Fai clic su DISATTIVA. Per riattivare il trasferimento, fai clic su ABILITA.
bq
La disabilitazione di un trasferimento non è supportata dall'interfaccia a riga di comando.
API
Utilizza il metodo projects.locations.transferConfigs.patch
e imposta disabled
su true
nella risorsa projects.locations.transferConfig
.
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Per riattivare il trasferimento:
Prima di provare questo esempio, segui le istruzioni di configurazione di Java disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Eliminare un trasferimento
Quando un trasferimento viene eliminato, non vengono pianificate nuove esecuzioni di trasferimento. Eventuali esecuzioni di trasferimento in corso vengono interrotte.
L'eliminazione di un trasferimento non rimuove i dati già trasferiti in BigQuery. I dati trasferiti in precedenza sono soggetti a costi di archiviazione standard di BigQuery finché non elimini il set di dati o elimini le tabelle.
Per eliminare un trasferimento:
Console
Nella console Google Cloud, vai alla pagina BigQuery.
Fai clic su Trasferimenti.
Nella pagina Trasferimenti, fai clic sul trasferimento nell'elenco che vuoi eliminare.
Fai clic su ELIMINA. Come misura di sicurezza dovrai digitare la parola "delete" in una casella per confermare l'intenzione.
bq
Inserisci il comando bq rm
e fornisci il nome della risorsa della configurazione di trasferimento. Puoi utilizzare il flag -f
per eliminare una configurazione di trasferimento senza conferma.
bq rm \
-f \
--transfer_config \
resource_name
Dove:
- resource_name è il nome della risorsa del trasferimento,
chiamato anche configurazione del trasferimento). Se non conosci il nome della risorsa del trasferimento, invia il comando
bq ls --transfer_config --transfer_location=location
per elencare tutti i trasferimenti.
Ad esempio, inserisci il comando seguente per eliminare la configurazione di trasferimento projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq rm \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Utilizza il metodo projects.locations.transferConfigs.delete
e fornisci la risorsa che stai eliminando utilizzando il parametro name
.
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Python.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Attivare manualmente un trasferimento
Puoi attivare manualmente un trasferimento, chiamato anche esecuzione di backfill, per caricare file di dati aggiuntivi al di fuori dei trasferimenti pianificati automaticamente. Con le origini dati che supportano i parametri di runtime, puoi anche attivare manualmente un trasferimento specificando una data o un intervallo di tempo da cui caricare i dati precedenti.
Puoi avviare manualmente i backfill dei dati in qualsiasi momento. Oltre ai limiti di origine, BigQuery Data Transfer Service supporta un massimo di 180 giorni per richiesta di backfill. Le richieste di backfill simultanee non sono supportate.
Per informazioni sulla quantità di dati disponibili per il backfill, consulta la guida al trasferimento per l'origine dati.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per modificare i trasferimenti,
chiedi all'amministratore di concederti il ruolo IAM
Amministratore BigQuery (roles/bigquery.admin
) per il progetto.
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.
Potresti anche essere in grado di ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Attivare manualmente un trasferimento o un backfill
Puoi attivare manualmente un'esecuzione di trasferimento o backfill con i seguenti metodi:
- Seleziona l'esecuzione del trasferimento utilizzando la console Google Cloud, quindi fai clic su Esegui trasferimento ora o Pianifica backfill.
- Utilizza il comando
bq mk –transfer run
con lo strumento a riga di comandobq
- Chiama il metodo API
projects.locations.transferConfigs.startManualRuns method
Per istruzioni dettagliate su ciascun metodo, seleziona la scheda corrispondente:
Console
Nella console Google Cloud, vai alla pagina Trasferimenti di dati.
Seleziona il trasferimento dall'elenco.
Fai clic su Esegui trasferimento ora o Pianifica backfill. A seconda del tipo di configurazione di trasferimento, è disponibile una sola opzione.
Se hai fatto clic su Esegui il trasferimento ora, seleziona Esegui trasferimento una tantum o Esegui per una data specifica, a seconda dei casi. Se hai selezionato Esegui per una data specifica, seleziona una data e un'ora specifiche:
Se hai fatto clic su Pianifica backfill, seleziona Esegui un trasferimento una tantum o Esegui per un intervallo di date, a seconda dei casi. Se hai selezionato Esegui per un intervallo di date, seleziona una data e un'ora di inizio e di fine:
Fai clic su Ok.
bq
Per avviare manualmente un'esecuzione di trasferimento, inserisci il comando bq mk
con il flag --transfer_run
:
bq mk \ --transfer_run \ --run_time='RUN_TIME' \ RESOURCE_NAME
Sostituisci quanto segue:
RUN_TIME
è un timestamp che specifica la data di un trasferimento passato. Utilizza timestamp che terminano con la Z o contengono una differenza di fuso orario valida, ad esempio2022-08-19T12:11:35.00Z
o2022-05-25T00:00:00+00:00
.- Se il trasferimento non ha un parametro di runtime o se vuoi semplicemente attivare un trasferimento ora senza specificare un trasferimento precedente, inserisci l'ora attuale in questo campo.
RESOURCE_NAME
è il nome della risorsa elencato nella configurazione di trasferimento, ad esempioprojects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.- Per trovare il nome della risorsa di una configurazione di trasferimento, consulta Ottenere informazioni sui trasferimenti.
- Il nome della risorsa utilizza il formato Nome risorsa relativo.
Per avviare manualmente un'esecuzione del trasferimento per un intervallo di date, inserisci il comando bq mk
con il
flag --transfer_run
e un intervallo di date:
bq mk \ --transfer_run \ --start_time='START_TIME' \ --end_time='END_TIME' \ RESOURCE_NAME
Sostituisci quanto segue:
START_TIME
eEND_TIME
sono timestamp che terminano con Z o contengono un offset di fuso orario valido. Questi valori specificano l'intervallo di tempo contenente le esecuzioni di trasferimenti precedenti da cui vuoi eseguire il backfill, ad esempio2022-08-19T12:11:35.00Z
o2022-05-25T00:00:00+00:00
RESOURCE_NAME
è il nome della risorsa elencato nella configurazione del trasferimento, ad esempioprojects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
- Per trovare il nome della risorsa di una configurazione di trasferimento, consulta Ottenere informazioni sui trasferimenti.
- Il nome della risorsa utilizza il formato Nome risorsa relativo.
API
Per avviare manualmente un'esecuzione di trasferimento, utilizza il metodo projects.locations.transferConfigs.startManualRuns
e indica il nome della risorsa di configurazione del trasferimento utilizzando il parametro padre. Per trovare il nome della risorsa di una configurazione di trasferimento, vedi Ottenere informazioni sui trasferimenti.
"requestedRunTime": "RUN_TIME"
Sostituisci quanto segue:
RUN_TIME
è un timestamp che specifica la data di un trasferimento passato. Utilizza timestamp che terminano con la Z o contengono una differenza di fuso orario valida, ad esempio2022-08-19T12:11:35.00Z
o2022-05-25T00:00:00+00:00
.- Se il trasferimento non ha un parametro di runtime o se vuoi semplicemente attivare un trasferimento ora senza specificare un trasferimento precedente, inserisci l'ora attuale in questo campo.
Per avviare manualmente l'esecuzione di un trasferimento per un intervallo di date, specifica un intervallo di date:
"requestedTimeRange": { "startTime": "START_TIME", "endTime": "END_TIME" }
Sostituisci quanto segue:
START_TIME
eEND_TIME
sono timestamp che terminano con Z o contengono uno scarto con fuso orario valido. Questi valori specificano l'intervallo di tempo contenente le esecuzioni di trasferimenti precedenti da cui vuoi eseguire il backfill, ad esempio2022-08-19T12:11:35.00Z
o2022-05-25T00:00:00+00:00
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Python.
Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.
Logging e monitoraggio
BigQuery Data Transfer Service esporta in Cloud Monitoring e Cloud Logging log e metriche che forniscono osservabilità nei trasferimenti. Puoi utilizzare Monitoring per configurare dashboard per monitorare i trasferimenti, valutare le prestazioni delle esecuzioni dei trasferimenti e visualizzare i messaggi di errore per risolvere gli errori di trasferimento. Puoi utilizzare Logging per visualizzare i log relativi a un'esecuzione o a una configurazione di trasferimento.
Puoi inoltre visualizzare gli audit log disponibili in BigQuery Data Transfer Service per i log delle attività di trasferimento e degli accessi ai dati.