Questa pagina è stata tradotta dall'API Cloud Translation.

Gestisci trasferimenti

Questo documento mostra come gestire le configurazioni di Data Transfer esistenti.

Puoi anche attivare manualmente un trasferimento esistente tramite l'avvio di un esecuzione di backfill.

Visualizza i tuoi trasferimenti

Visualizza le configurazioni di trasferimento esistenti visualizzando le informazioni su ogni trasferimento, l'elenco di tutti i trasferimenti esistenti e la visualizzazione dell'esecuzione del trasferimento cronologia o messaggi di log.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per visualizzare i dettagli del trasferimento: chiedi all'amministratore di concederti Ruolo IAM Utente BigQuery (roles/bigquery.user) nel progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.

Inoltre, per visualizzare i messaggi di log tramite la console Google Cloud, devi e disponi delle autorizzazioni necessarie per visualizzare i dati di Cloud Logging. Ruolo Visualizzatore log (roles/logging.viewer) ti offre l'accesso di sola lettura a tutte le funzionalità di Logging. Per saperne di più su Identity and Access Management (IAM) autorizzazioni e ruoli per i dati dei log cloud, consulta la guida al controllo dell'accesso di Cloud Logging.

Per ulteriori informazioni sui ruoli IAM in BigQuery Data Transfer Service, consulta Controllo dell'accesso.

Ottieni dettagli sul trasferimento

Dopo aver creato un trasferimento, puoi ricevere informazioni sulla sua configurazione. La configurazione include i valori che hai fornito al momento creato il trasferimento, nonché altre informazioni importanti come names.

Per ottenere informazioni sulla configurazione di un trasferimento:

Console

Vai alla pagina Trasferimenti di dati.

Vai a Trasferimenti di dati
Seleziona il trasferimento di cui vuoi visualizzare i dettagli.
Per visualizzare la configurazione del trasferimento e i dettagli dell'origine dati, fai clic su Configurazione nella pagina Dettagli trasferimento. La l'esempio seguente mostra le proprietà di configurazione per un account Google Ads trasferimento:

bq

Inserisci il comando bq show e specifica il valore della configurazione di trasferimento del nome della risorsa. Il flag --format può essere utilizzato per controllare il formato di output.

bq show \
--format=prettyjson \
--transfer_config resource_name

Sostituisci resource_name con la risorsa del trasferimento (indicata anche come configurazione di trasferimento). In caso di dubbi il nome della risorsa del trasferimento, trova il nome della risorsa con: bq ls --transfer_config --transfer_location=location.

Ad esempio, inserisci il comando seguente per visualizzare la configurazione del trasferimento della projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7.

bq show \
--format=prettyjson \
--transfer_config projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7

API

Utilizza la projects.locations.transferConfigs.get e fornisci la configurazione di trasferimento utilizzando il parametro name.

Java

Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Java BigQuery documentazione di riferimento.

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.GetTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import java.io.IOException;

// Sample to get config info.
public class GetTransferConfigInfo {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String configId = "MY_CONFIG_ID";
    // i.e projects/{project_id}/transferConfigs/{config_id}` or
    // `projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}`
    getTransferConfigInfo(configId);
  }

  public static void getTransferConfigInfo(String configId) throws IOException {
    try (DataTransferServiceClient dataTransferServiceClient = DataTransferServiceClient.create()) {
      GetTransferConfigRequest request =
          GetTransferConfigRequest.newBuilder().setName(configId).build();
      TransferConfig info = dataTransferServiceClient.getTransferConfig(request);
      System.out.print("Config info retrieved successfully." + info.getName() + "\n");
    } catch (ApiException ex) {
      System.out.print("config not found." + ex.toString());
    }
  }
}

Elenca configurazioni di trasferimento

Per elencare tutte le configurazioni di trasferimento esistenti in un progetto:

Console

Nella console Google Cloud, vai alla pagina Trasferimenti di dati.

Vai a Trasferimenti di dati
Se nel progetto sono presenti configurazioni di trasferimento, un elenco configurazioni di trasferimento dati vengono visualizzate nell'elenco dei trasferimenti di dati.

bq

Per elencare tutte le configurazioni di trasferimento per un progetto in base alla località, inserisci il Comando bq ls e fornisci i --transfer_location e --transfer_config e i flag facoltativi. Puoi anche fornire il flag --project_id per specificare una determinata progetto. Se --project_id non è specificato, viene utilizzato il progetto predefinito. Il flag --format può essere utilizzato per controllare il formato di output.

Per elencare le configurazioni di trasferimento per origini dati particolari, fornisci il valore --filter flag.

Per visualizzare un determinato numero di configurazioni di trasferimento in formato impaginato, fornisci il flag --max_results per specificare il numero trasferimenti. Il comando restituisce un token di pagina da te fornito utilizzando --page_token per visualizzare le successive n configurazioni. Esiste un limite di 1000 configurazioni che verranno restituite se --max_results viene omesso e --max_results non accetta valori superiori a 1000. Se il tuo progetto ha più di 1000 configurazioni, usa --max_results e --page_token per ripassali tutti.

bq ls \
--transfer_config \
--transfer_location=location \
--project_id=project_id \
--max_results=integer \
--filter=dataSourceIds:data_sources

Sostituisci quanto segue:

location è la località del trasferimento configurazioni. La località viene specificato quando crei un trasferimento.
project_id è l'ID progetto.
integer è il numero di risultati da mostrare per pagina.
data_sources corrisponde a uno o più dei seguenti:
- amazon_s3 - Trasferimento dati Amazon S3
- azure_blob_storage - Trasferimento dei dati dello spazio di archiviazione BLOB di Azure
- dcm_dt - Trasferimento dati Campaign Manager
- google_cloud_storage - Trasferimento dati Cloud Storage
- cross_region_copy - Copia del set di dati
- dfp_dt- Trasferimento dei dati da Google Ad Manager
- adwords - Trasferimento dei dati Google Ads
- google_ads - Trasferimento dei dati di Google Ads (anteprima)
- merchant_center - Trasferimento dei dati da Google Merchant Center
- play - Trasferimento dati Google Play
- scheduled_query - Trasferimento dei dati per le query pianificate
- doubleclick_search- Trasferimento dei dati di Search Ads 360
- youtube_channel - Trasferimento dei dati del canale YouTube
- youtube_content_owner - Trasferimento dei dati del proprietario dei contenuti di YouTube
- redshift - Migrazione ad Amazon Redshift
- on_premises - Migrazione di Teradata

Esempi:

Inserisci il comando seguente per visualizzare tutte le configurazioni di trasferimento US per il progetto predefinito. L'output viene controllato utilizzando --format flag.

bq ls \
--format=prettyjson \
--transfer_config \
--transfer_location=us

Inserisci il seguente comando per visualizzare tutti i trasferimenti negli Stati Uniti per l'ID progetto myproject.

bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject

Inserisci il seguente comando per elencare i 3 trasferimenti più recenti configurazioni.

bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--max_results=3

Il comando restituisce un token per la pagina successiva. Copia il token di pagina e forniscilo il comando bq ls per vedere i tre risultati successivi.

bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--max_results=3 \
--page_token=AB1CdEfg_hIJKL

Inserisci il seguente comando per elencare gli annunci e i trasferimenti di Campaign Manager per l'ID progetto myproject.

bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--filter=dataSourceIds:dcm_dt,google_ads

API

Utilizza la projects.locations.transferConfigs.list e fornisci l'ID progetto utilizzando il parametro parent.

Java

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ListTransferConfigsRequest;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import java.io.IOException;

// Sample to get list of transfer config
public class ListTransferConfigs {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    listTransferConfigs(projectId);
  }

  public static void listTransferConfigs(String projectId) throws IOException {
    try (DataTransferServiceClient dataTransferServiceClient = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      ListTransferConfigsRequest request =
          ListTransferConfigsRequest.newBuilder().setParent(parent.toString()).build();
      dataTransferServiceClient
          .listTransferConfigs(request)
          .iterateAll()
          .forEach(config -> System.out.print("Success! Config ID :" + config.getName() + "\n"));
    } catch (ApiException ex) {
      System.out.println("Config list not found due to error." + ex.toString());
    }
  }
}

Python

Prima di provare questo esempio, segui le istruzioni per la configurazione di Python nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Python BigQuery documentazione di riferimento.

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

from google.cloud import bigquery_datatransfer

transfer_client = bigquery_datatransfer.DataTransferServiceClient()

project_id = "my-project"
parent = transfer_client.common_project_path(project_id)

configs = transfer_client.list_transfer_configs(parent=parent)
print("Got the following configs:")
for config in configs:
    print(f"\tID: {config.name}, Schedule: {config.schedule}")

Visualizza la cronologia delle esecuzioni del trasferimento

Quando vengono eseguiti i trasferimenti pianificati, viene conservata una cronologia delle esecuzioni per ogni trasferimento che include esecuzioni di trasferimenti riuscite e esecuzioni di trasferimento che non riuscito. I trasferimenti eseguiti da più di 90 giorni vengono automaticamente eliminati dal delle esecuzioni.

Per visualizzare la cronologia delle esecuzioni per una configurazione di trasferimento:

Console

Nella console Google Cloud, vai alla pagina Trasferimenti di dati.

Vai a Trasferimenti di dati
Fai clic sul trasferimento nell'elenco dei trasferimenti di dati.
Ti troverai nella pagina ESEGUI CRONOLOGIA per il trasferimento selezionato.

bq

Per elencare le esecuzioni di trasferimento per una determinata configurazione di trasferimento, inserisci il comando bq ls e fornisci il flag --transfer_run. Puoi anche fornire --project_id per specificare un progetto specifico. Se resource_name non contiene informazioni sul progetto, viene utilizzato il valore --project_id. Se --project_id non è specificato. Viene utilizzato il progetto predefinito. --format per controllare il formato di output.

Per visualizzare un determinato numero di esecuzioni dei trasferimenti, fornisci --max_results flag. Il comando restituisce un token di pagina da te fornito utilizzando --page_token per visualizzare le successive n configurazioni.

Per elencare le esecuzioni dei trasferimenti in base allo stato di esecuzione, fornisci il flag --filter.

bq ls \
--transfer_run \
--max_results=integer \
--transfer_location=location \
--project_id=project_id \
--filter=states:state, ... \
resource_name

Sostituisci quanto segue:

integer è il numero di risultati da restituire.
location è la località del trasferimento configurazioni. La località viene specificato quando crei un trasferimento.
project_id è l'ID progetto.
state, ... è uno dei seguenti o un elenco separato da virgole:
- SUCCEEDED
- FAILED
- PENDING
- RUNNING
- CANCELLED
resource_name è il nome della risorsa del trasferimento (chiamato anche configurazione di trasferimento). Se non conosci il nome risorsa del trasferimento, trova il nome della risorsa con: bq ls --transfer_config --transfer_location=location.

Esempi:

Inserisci il seguente comando per visualizzare le ultime 3 esecuzioni per configurazione di trasferimento projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7. L'output viene controllato utilizzando il flag --format.

bq ls \
--format=prettyjson \
--transfer_run \
--max_results=3 \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7

Il comando restituisce un token per la pagina successiva. Copia il token di pagina e forniscilo il comando bq ls per vedere i tre risultati successivi.

bq ls \
--format=prettyjson \
--transfer_run \
--max_results=3 \
--page_token=AB1CdEfg_hIJKL \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7

Inserisci il comando seguente per visualizzare tutte le esecuzioni non riuscite per configurazione di trasferimento projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7.

bq ls \
--format=prettyjson \
--transfer_run \
--filter=states:FAILED \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7

API

Utilizza la projects.locations.transferConfigs.runs.list e specifica l'ID progetto utilizzando il parametro parent.

Java

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ListTransferRunsRequest;
import java.io.IOException;

// Sample to get run history from transfer config.
public class RunHistory {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String configId = "MY_CONFIG_ID";
    // i.e projects/{project_id}/transferConfigs/{config_id}` or
    // `projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}`
    runHistory(configId);
  }

  public static void runHistory(String configId) throws IOException {
    try (DataTransferServiceClient dataTransferServiceClient = DataTransferServiceClient.create()) {
      ListTransferRunsRequest request =
          ListTransferRunsRequest.newBuilder().setParent(configId).build();
      dataTransferServiceClient
          .listTransferRuns(request)
          .iterateAll()
          .forEach(run -> System.out.print("Success! Run ID :" + run.getName() + "\n"));
    } catch (ApiException ex) {
      System.out.println("Run history not found due to error." + ex.toString());
    }
  }
}

Visualizzare i dettagli dell'esecuzione del trasferimento e i messaggi di log

Quando un'esecuzione di trasferimento appare nella cronologia delle esecuzioni, puoi visualizzare i dettagli dell'esecuzione inclusi messaggi di log, avvisi ed errori, il nome dell'esecuzione, i campi di inizio e ora di fine.

Per visualizzare i dettagli dell'esecuzione del trasferimento:

Console

Nella console Google Cloud, vai alla pagina Trasferimenti di dati.

Vai a Trasferimenti di dati
Fai clic sul trasferimento nell'elenco dei trasferimenti di dati.
Ti troverai nella pagina ESEGUI CRONOLOGIA per il trasferimento selezionato.
Fai clic su una singola esecuzione del trasferimento e poi sul riquadro Dettagli esecuzione per l'esecuzione del trasferimento.
In Dettagli esecuzione, controlla gli eventuali messaggi di errore. Queste informazioni sono necessaria se contatti l'assistenza clienti Google Cloud. I dettagli dell'esecuzione includono anche messaggi di log e avvisi.

bq

Per visualizzare i dettagli dell'esecuzione del trasferimento, inserisci il comando bq show e specifica il metodo il nome dell'esecuzione dell'esecuzione del trasferimento usando il flag --transfer_run. Il flag --format può essere utilizzato per controllare il formato di output.

bq show \
--format=prettyjson \
--transfer_run run_name

Sostituisci run_name con il nome esecuzione dell'esecuzione del trasferimento. Puoi recuperare il nome esecuzione utilizzando bq ls .

Esempio:

Inserisci il comando seguente per visualizzare i dettagli dell'esecuzione del trasferimento projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g.

bq show \
--format=prettyjson \
--transfer_run \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g

Per visualizzare i messaggi del log di trasferimento per un'esecuzione di trasferimento, inserisci il comando bq ls con il flag --transfer_log. Puoi filtrare i messaggi di log in base al tipo utilizzando il flag --message_type.

Per visualizzare un determinato numero di messaggi di log, specifica il valore --max_results flag. Il comando restituisce un token di pagina da te fornito utilizzando --page_token per vedere i successivi n messaggi.

bq ls \
--transfer_log \
--max_results=integer \
--message_type=messageTypes:message_type \
run_name

Sostituisci quanto segue:

integer è il numero di messaggi di log da restituire.
message_type è il tipo di messaggio di log da visualizzare (un singolo valore o un elenco separato da virgole):
- INFO
- WARNING
- ERROR
run_name è il nome esecuzione dell'esecuzione del trasferimento. Puoi recupera il nome dell'esecuzione utilizzando il comando bq ls.

Esempi:

Inserisci il comando seguente per visualizzare i primi 2 messaggi di log per il trasferimento corsa projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g.

bq ls \
--transfer_log \
--max_results=2 \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g

Il comando restituisce un token per la pagina successiva. Copia il token di pagina e forniscilo il comando bq ls per vedere i due risultati successivi.

bq ls \
--transfer_log \
--max_results=2 \
--page_token=AB1CdEfg_hIJKL \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g

Inserisci il comando seguente per visualizzare solo i messaggi di errore per l'esecuzione del trasferimento projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g.

bq ls \
--transfer_log \
--message_type=messageTypes:ERROR \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g

API

Utilizza la projects.transferConfigs.runs.transferLogs.list e fornisci il nome esecuzione dell'esecuzione del trasferimento utilizzando il parametro parent.

Java

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.GetTransferRunRequest;
import com.google.cloud.bigquery.datatransfer.v1.TransferRun;
import java.io.IOException;

// Sample to get run details from transfer config.
public class RunDetails {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    // runId examples:
    // `projects/{project_id}/transferConfigs/{config_id}/runs/{run_id}` or
    // `projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}/runs/{run_id}`
    String runId = "MY_RUN_ID";
    runDetails(runId);
  }

  public static void runDetails(String runId) throws IOException {
    try (DataTransferServiceClient dataTransferServiceClient = DataTransferServiceClient.create()) {
      GetTransferRunRequest request = GetTransferRunRequest.newBuilder().setName(runId).build();
      TransferRun run = dataTransferServiceClient.getTransferRun(request);
      System.out.print("Run details retrieved successfully :" + run.getName() + "\n");
    } catch (ApiException ex) {
      System.out.print("Run details not found." + ex.toString());
    }
  }
}

Modificare i trasferimenti

Puoi modificare i trasferimenti esistenti modificando le informazioni sul trasferimento configurazione, aggiornando le credenziali di un utente collegate a un trasferimento configurazione e la disattivazione o l'eliminazione di un trasferimento.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per modificare i trasferimenti, chiedi all'amministratore di concederti Ruolo IAM Amministratore BigQuery (roles/bigquery.admin) nel progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.

Aggiorna un trasferimento

Dopo aver creato una configurazione di trasferimento, puoi modificare i seguenti campi:

Set di dati di destinazione
Nome visualizzato
Uno qualsiasi dei parametri specificati per il tipo di trasferimento specifico
Esegui impostazioni di notifica
Account di servizio

Non puoi modificare l'origine di un trasferimento dopo averlo creato.

Per aggiornare un trasferimento:

Console

Nella console Google Cloud, vai alla pagina Trasferimenti di dati.

Vai a Trasferimenti di dati
Fai clic sul trasferimento nell'elenco dei trasferimenti di dati.
Fai clic su MODIFICA per aggiornare la configurazione di trasferimento.

bq

Inserisci il Comando bq update, specifica il nome della risorsa della configurazione di trasferimento utilizzando --transfer_config e indica --display_name, --params, Contrassegni --refresh_window_days, --schedule o --target_dataset. Puoi facoltativamente fornire un flag --destination_kms_key per le query pianificate oppure Cloud Storage trasferimenti.

bq update \
--display_name='NAME' \
--params='PARAMETERS' \
--refresh_window_days=INTEGER \
--schedule='SCHEDULE'
--target_dataset=DATASET_ID \
--destination_kms_key="DESTINATION_KEY" \
--transfer_config \
--service_account_name=SERVICE_ACCOUNT \
RESOURCE_NAME

Sostituisci quanto segue:

NAME: il nome visualizzato del trasferimento configurazione.
PARAMETERS: i parametri per la configurazione del trasferimento in formato JSON. Ad esempio: --params='{"param1":"param_value1"}'. La i seguenti parametri sono modificabili:
- Campaign Manager: bucket e network_id
- Google Ad Manager: bucket e network_code
- Google Ads: customer_id
- Google Merchant Center: merchant_id
- Google Play: bucket e table_suffix
- Query pianificata: destination_table_kms_key, destination_table_name_template, partitioning_field partitioning_type, query e write_disposition
- Search Ads 360: advertiser_id, agency_id, custom_floodlight_variables, include_removed_entities e table_filter
- Canale YouTube: table_suffix
- Proprietario dei contenuti di YouTube: content_owner_id e table_suffix
INTEGER: un valore compreso tra 0 e 30. Per informazioni su l'impostazione della finestra di aggiornamento, consulta la documentazione per il tipo di trasferimento.
SCHEDULE: una pianificazione ricorrente, ad esempio --schedule="every 3 hours". Per una descrizione della sintassi schedule: consulta la sezione Formattazione di schedule.
DATASET_ID: il set di dati di destinazione per la configurazione del trasferimento.
DESTINATION_KEY: l'ID risorsa della chiave Cloud KMS ad esempio projects/project_name/locations/us/keyRings/key_ring_name/cryptoKeys/key_name. CMEK è disponibile solo per le query pianificate o Cloud Storage trasferimenti.
SERVICE_ACCOUNT: specifica un account di servizio da utilizzare con questo trasferimento.
RESOURCE_NAME: nome della risorsa del trasferimento (chiamato anche come configurazione di trasferimento). Se non conosci la risorsa del trasferimento cerca il nome della risorsa con: bq ls --transfer_config --transfer_location=location.

Esempi:

Il comando seguente aggiorna il nome visualizzato, il set di dati di destinazione finestra di aggiornamento e i parametri per il trasferimento di Google Ads projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7:

bq update \
--display_name='My changed transfer' \
--params='{"customer_id":"123-123-5678"}' \
--refresh_window_days=3 \
--target_dataset=mydataset2 \
--transfer_config \
 projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7

Il seguente comando aggiorna i parametri e la pianificazione per Pianificato Trasferimento delle query projects/myproject/locations/us/transferConfigs/5678z567-5678-5z67-5yx9-56zy3c866vw9:

bq update \
--params='{"destination_table_name_template":"test", "write_disposition":"APPEND"}' \
--schedule="every 24 hours" \
--transfer_config \
projects/myproject/locations/us/transferConfigs/5678z567-5678-5z67-5yx9-56zy3c866vw9

API

Utilizza la projects.transferConfigs.patch e fornisci il nome risorsa del trasferimento utilizzando transferConfig.name. Se non conosci la risorsa del trasferimento cerca il nome della risorsa con: bq ls --transfer_config --transfer_location=location. Puoi anche chiamare il metodo riportato di seguito e fornire l'ID progetto utilizzando il metodo Parametro parent per elencare tutti i trasferimenti: projects.locations.transferConfigs.list.

Java

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.cloud.bigquery.datatransfer.v1.UpdateTransferConfigRequest;
import com.google.protobuf.FieldMask;
import com.google.protobuf.util.FieldMaskUtil;
import java.io.IOException;

// Sample to update transfer config.
public class UpdateTransferConfig {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String configId = "MY_CONFIG_ID";
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setName(configId)
            .setDisplayName("UPDATED_DISPLAY_NAME")
            .build();
    FieldMask updateMask = FieldMaskUtil.fromString("display_name");
    updateTransferConfig(transferConfig, updateMask);
  }

  public static void updateTransferConfig(TransferConfig transferConfig, FieldMask updateMask)
      throws IOException {
    try (DataTransferServiceClient dataTransferServiceClient = DataTransferServiceClient.create()) {
      UpdateTransferConfigRequest request =
          UpdateTransferConfigRequest.newBuilder()
              .setTransferConfig(transferConfig)
              .setUpdateMask(updateMask)
              .build();
      TransferConfig updateConfig = dataTransferServiceClient.updateTransferConfig(request);
      System.out.println("Transfer config updated successfully :" + updateConfig.getDisplayName());
    } catch (ApiException ex) {
      System.out.print("Transfer config was not updated." + ex.toString());
    }
  }
}

Python

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

from google.cloud import bigquery_datatransfer
from google.protobuf import field_mask_pb2

transfer_client = bigquery_datatransfer.DataTransferServiceClient()

transfer_config_name = "projects/1234/locations/us/transferConfigs/abcd"
new_display_name = "My Transfer Config"

transfer_config = bigquery_datatransfer.TransferConfig(name=transfer_config_name)
transfer_config.display_name = new_display_name

transfer_config = transfer_client.update_transfer_config(
    {
        "transfer_config": transfer_config,
        "update_mask": field_mask_pb2.FieldMask(paths=["display_name"]),
    }
)

print(f"Updated config: '{transfer_config.name}'")
print(f"New display name: '{transfer_config.display_name}'")

Aggiorna credenziali

Un trasferimento utilizza le credenziali dell'utente che lo ha creato. Per modificare l'utente associato a una configurazione di trasferimento, puoi aggiornare le credenziali del trasferimento. Ciò è utile se l'utente che ha creato il trasferimento non sono più nella tua organizzazione.

Per aggiornare le credenziali per un trasferimento:

Console

Nella console Google Cloud, accedi con le credenziali dell'utente che vuoi trasferire proprietà.
Vai alla pagina Trasferimenti di dati.

Vai a Trasferimenti di dati
Fai clic sul trasferimento nell'elenco dei trasferimenti di dati.
Fai clic sul menu ALTRO, quindi seleziona Aggiorna credenziali.
Fai clic su Consenti per concedere l'autorizzazione BigQuery Data Transfer Service per visualizzare i dati dei report e accedere e gestire i dati in BigQuery.

bq

Inserisci il comando bq update, specifica il valore della configurazione di trasferimento della risorsa usando il flag --transfer_config e fornisci il Flag --update_credentials.

bq update \
--update_credentials=boolean \
--transfer_config \
resource_name

Sostituisci quanto segue:

boolean è un valore booleano che indica se il è necessario aggiornare le credenziali per la configurazione del trasferimento.
resource_name è il nome della risorsa del trasferimento (chiamata anche configurazione di trasferimento). Se non conosci del trasferimento, trova il nome della risorsa con: bq ls --transfer_config --transfer_location=location.

Esempi:

Inserisci il comando seguente per aggiornare le credenziali per Google Ads trasferimento projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7.

bq update \
--update_credentials=true \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7

API

Utilizza la projects.transferConfigs.patch e fornisci i parametri authorizationCode e updateMask.

Java

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.cloud.bigquery.datatransfer.v1.UpdateTransferConfigRequest;
import com.google.protobuf.FieldMask;
import com.google.protobuf.util.FieldMaskUtil;
import java.io.IOException;

// Sample to update credentials in transfer config.
public class UpdateCredentials {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String configId = "MY_CONFIG_ID";
    String serviceAccount = "MY_SERVICE_ACCOUNT";
    TransferConfig transferConfig = TransferConfig.newBuilder().setName(configId).build();
    FieldMask updateMask = FieldMaskUtil.fromString("service_account_name");
    updateCredentials(transferConfig, serviceAccount, updateMask);
  }

  public static void updateCredentials(
      TransferConfig transferConfig, String serviceAccount, FieldMask updateMask)
      throws IOException {
    try (DataTransferServiceClient dataTransferServiceClient = DataTransferServiceClient.create()) {
      UpdateTransferConfigRequest request =
          UpdateTransferConfigRequest.newBuilder()
              .setTransferConfig(transferConfig)
              .setUpdateMask(updateMask)
              .setServiceAccountName(serviceAccount)
              .build();
      dataTransferServiceClient.updateTransferConfig(request);
      System.out.println("Credentials updated successfully");
    } catch (ApiException ex) {
      System.out.print("Credentials was not updated." + ex.toString());
    }
  }
}

Python

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

from google.cloud import bigquery_datatransfer
from google.protobuf import field_mask_pb2

transfer_client = bigquery_datatransfer.DataTransferServiceClient()

service_account_name = "abcdef-test-sa@abcdef-test.iam.gserviceaccount.com"
transfer_config_name = "projects/1234/locations/us/transferConfigs/abcd"

transfer_config = bigquery_datatransfer.TransferConfig(name=transfer_config_name)

transfer_config = transfer_client.update_transfer_config(
    {
        "transfer_config": transfer_config,
        "update_mask": field_mask_pb2.FieldMask(paths=["service_account_name"]),
        "service_account_name": service_account_name,
    }
)

print("Updated config: '{}'".format(transfer_config.name))

Disattivare un trasferimento

Quando disattivi un trasferimento, al nome del trasferimento viene aggiunto disabled. Quando il trasferimento è disabilitato, non vengono programmate nuove esecuzioni né nuove esecuzioni del trasferimento i backfill sono consentiti. Tutte le esecuzioni del trasferimento in corso sono state completate.

La disattivazione di un trasferimento non rimuove i dati già trasferiti in BigQuery. I dati trasferiti in precedenza sono soggetti a Costi di archiviazione di BigQuery finché non elimini il set di dati o elimina le tabelle.

Per disattivare un trasferimento:

Console

Nella console Google Cloud, vai alla pagina BigQuery.

Vai a BigQuery
Fai clic su Trasferimenti.
Nella pagina Trasferimenti, fai clic sul trasferimento nell'elenco che vuoi disabilitare.
Fai clic su DISATTIVA. Per riattivare il trasferimento, fai clic su ABILITA.

bq

La disattivazione di un trasferimento non è supportata dall'interfaccia a riga di comando.

API

Utilizza la projects.locations.transferConfigs.patch e imposta disabled su true nel projects.locations.transferConfig risorsa.

Java

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.cloud.bigquery.datatransfer.v1.UpdateTransferConfigRequest;
import com.google.protobuf.FieldMask;
import com.google.protobuf.util.FieldMaskUtil;
import java.io.IOException;

// Sample to disable transfer config.
public class DisableTransferConfig {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String configId = "MY_CONFIG_ID";
    TransferConfig transferConfig =
        TransferConfig.newBuilder().setName(configId).setDisabled(true).build();
    FieldMask updateMask = FieldMaskUtil.fromString("disabled");
    disableTransferConfig(transferConfig, updateMask);
  }

  public static void disableTransferConfig(TransferConfig transferConfig, FieldMask updateMask)
      throws IOException {
    try (DataTransferServiceClient dataTransferServiceClient = DataTransferServiceClient.create()) {
      UpdateTransferConfigRequest request =
          UpdateTransferConfigRequest.newBuilder()
              .setTransferConfig(transferConfig)
              .setUpdateMask(updateMask)
              .build();
      TransferConfig updateConfig = dataTransferServiceClient.updateTransferConfig(request);
      System.out.println("Transfer config disabled successfully :" + updateConfig.getDisplayName());
    } catch (ApiException ex) {
      System.out.print("Transfer config was not disabled." + ex.toString());
    }
  }
}

Per riattivare il trasferimento:

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

/*
 * Copyright 2020 Google LLC
 *
 * Licensed under the Apache License, Version 2.0 (the "License");
 * you may not use this file except in compliance with the License.
 * You may obtain a copy of the License at
 *
 * http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */

package com.example.bigquerydatatransfer;

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.cloud.bigquery.datatransfer.v1.UpdateTransferConfigRequest;
import com.google.protobuf.FieldMask;
import com.google.protobuf.util.FieldMaskUtil;
import java.io.IOException;

// Sample to disable transfer config.
public class DisableTransferConfig {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String configId = "MY_CONFIG_ID";
    TransferConfig transferConfig =
        TransferConfig.newBuilder().setName(configId).setDisabled(true).build();
    FieldMask updateMask = FieldMaskUtil.fromString("disabled");
    disableTransferConfig(transferConfig, updateMask);
  }

  public static void disableTransferConfig(TransferConfig transferConfig, FieldMask updateMask)
      throws IOException {
    try (DataTransferServiceClient dataTransferServiceClient = DataTransferServiceClient.create()) {
      UpdateTransferConfigRequest request =
          UpdateTransferConfigRequest.newBuilder()
              .setTransferConfig(transferConfig)
              .setUpdateMask(updateMask)
              .build();
      TransferConfig updateConfig = dataTransferServiceClient.updateTransferConfig(request);
      System.out.println("Transfer config disabled successfully :" + updateConfig.getDisplayName());
    } catch (ApiException ex) {
      System.out.print("Transfer config was not disabled." + ex.toString());
    }
  }
}

Eliminare un trasferimento

Quando un trasferimento viene eliminato, non vengono programmate nuove esecuzioni del trasferimento. Qualsiasi le esecuzioni di trasferimento in corso vengono interrotte.

L'eliminazione di un trasferimento non rimuove i dati già trasferiti in BigQuery. I dati trasferiti in precedenza sono soggetti a Costi di archiviazione di BigQuery finché non elimini il set di dati o elimina le tabelle.

Per eliminare un trasferimento:

Console

Nella console Google Cloud, vai alla pagina BigQuery.

Vai a BigQuery
Fai clic su Trasferimenti.
Nella pagina Trasferimenti, fai clic sul trasferimento nell'elenco che da eliminare.
Fai clic su ELIMINA. Come misura di sicurezza dovrai digitare la parola "elimina" in una casella per confermare le tue intenzioni.

Attenzione: l'operazione di eliminazione non può essere annullata.

bq

Inserisci il comando bq rm e fornisci la risorsa della configurazione del trasferimento . Puoi usare il flag -f per eliminare una configurazione di trasferimento senza conferma.

bq rm \
-f \
--transfer_config \
resource_name

Dove:

resource_name è il nome della risorsa del trasferimento, che è anche nota come configurazione di trasferimento). Se non conosci il nome della risorsa del trasferimento, emetti bq ls --transfer_config --transfer_location=location per elencare tutti i trasferimenti.

Ad esempio, inserisci il comando seguente per eliminare la configurazione di trasferimento projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7.

bq rm \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7

API

Utilizza la projects.locations.transferConfigs.delete e fornisci la risorsa che stai eliminando utilizzando il parametro name.

Java

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.DeleteTransferConfigRequest;
import java.io.IOException;

// Sample to delete a transfer config
public class DeleteTransferConfig {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    // i.e projects/{project_id}/transferConfigs/{config_id}` or
    // `projects/{project_id}/locations/{location_id}/transferConfigs/{config_id}`
    String configId = "MY_CONFIG_ID";
    deleteTransferConfig(configId);
  }

  public static void deleteTransferConfig(String configId) throws IOException {
    try (DataTransferServiceClient dataTransferServiceClient = DataTransferServiceClient.create()) {
      DeleteTransferConfigRequest request =
          DeleteTransferConfigRequest.newBuilder().setName(configId).build();
      dataTransferServiceClient.deleteTransferConfig(request);
      System.out.println("Transfer config deleted successfully");
    } catch (ApiException ex) {
      System.out.println("Transfer config was not deleted." + ex.toString());
    }
  }
}

Python

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

import google.api_core.exceptions
from google.cloud import bigquery_datatransfer

transfer_client = bigquery_datatransfer.DataTransferServiceClient()

transfer_config_name = "projects/1234/locations/us/transferConfigs/abcd"
try:
    transfer_client.delete_transfer_config(name=transfer_config_name)
except google.api_core.exceptions.NotFound:
    print("Transfer config not found.")
else:
    print(f"Deleted transfer config: {transfer_config_name}")

Attivare manualmente un trasferimento

Puoi attivare manualmente un trasferimento, chiamato anche esecuzione di backfill, per caricare file di dati aggiuntivi al di fuori dei trasferimenti pianificati automaticamente. Con le origini dati che supportano i parametri di runtime, puoi anche attivare manualmente un trasferimento specificando una data o un intervallo di tempo da cui caricare i dati precedenti.

Puoi avviare manualmente i backfill dei dati in qualsiasi momento. Oltre all'origine di servizio, BigQuery Data Transfer Service supporta un massimo di 180 giorni richiesta di backfill. Le richieste di backfill simultanee non sono supportate.

Per informazioni sulla quantità di dati disponibili per il backfill, consulta la documentazione per l'origine dati.

Ruoli obbligatori

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.

Attivare manualmente un trasferimento o un backfill

Puoi attivare manualmente un'esecuzione di trasferimento o backfill con i seguenti metodi:

Seleziona l'esecuzione del trasferimento utilizzando la console Google Cloud, quindi fai clic su Esegui trasferimento ora o Pianifica backfill.
Usa il comando bq mk –transfer run usando lo strumento a riga di comando bq
Chiama il metodo API projects.locations.transferConfigs.startManualRuns method

Per istruzioni dettagliate su ciascun metodo, seleziona la scheda corrispondente:

Console

Nella console Google Cloud, vai alla pagina Trasferimenti di dati.

Vai a Trasferimenti di dati
Seleziona il trasferimento dall'elenco.
Fai clic su Esegui trasferimento ora o Pianifica backfill. È disponibile una sola opzione a seconda del tipo di configurazione del trasferimento.
- Se hai fatto clic su Esegui trasferimento ora, seleziona Esegui trasferimento una tantum. oppure Esegui per una data specifica, a seconda dei casi. Se hai selezionato Esegui per una data specifica, seleziona una data e un'ora specifiche:
- Se hai fatto clic su Pianifica backfill, seleziona Esegui trasferimento una tantum. oppure Esegui per un intervallo di date, a seconda dei casi. Se hai selezionato Esegui per un intervallo di date, seleziona una data e un'ora di inizio e di fine:
Fai clic su OK.

bq

Per avviare manualmente un'esecuzione di trasferimento, inserisci il comando bq mk con Flag --transfer_run:

bq mk \
--transfer_run \
--run_time='RUN_TIME' \
RESOURCE_NAME

Sostituisci quanto segue:

RUN_TIME è un timestamp che specifica la data di un bonifico precedente. Utilizza timestamp che terminano con Z o che contengono un fuso orario valido di offset, ad esempio 2022-08-19T12:11:35.00Z o 2022-05-25T00:00:00+00:00.
- Se il trasferimento non ha un parametro di runtime o vuoi semplicemente attivare un trasferimento ora senza specificare un trasferimento precedente, l'ora corrente in questo campo.
RESOURCE_NAME è il nome della risorsa elencato nel trasferimento configurazione, ad esempio projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7.
- Per trovare il nome risorsa di una configurazione di trasferimento, consulta Ricevere informazioni sui trasferimenti.
- Il nome della risorsa utilizza il Nome risorsa relativo formato.

Per avviare manualmente un'esecuzione di trasferimento per un intervallo di date, inserisci il comando bq mk con --transfer_run insieme a un intervallo di date:

bq mk \
--transfer_run \
--start_time='START_TIME' \
--end_time='END_TIME' \
RESOURCE_NAME

Sostituisci quanto segue:

START_TIME e END_TIME sono timestamp che terminano con Z o contenere un offset di fuso orario valido. Questi valori specificano l'intervallo di tempo contenente le esecuzioni di trasferimento precedenti di cui vuoi eseguire il backfill da, ad esempio 2022-08-19T12:11:35.00Z o 2022-05-25T00:00:00+00:00
RESOURCE_NAME è il nome della risorsa elencato nel trasferimento configurazione, ad esempio projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
- Per trovare il nome risorsa di una configurazione di trasferimento, consulta Ricevere informazioni sui trasferimenti.
- Il nome della risorsa utilizza il Nome risorsa relativo formato.

API

Per avviare manualmente un'esecuzione di trasferimento, utilizza projects.locations.transferConfigs.startManualRuns e fornisci il nome della risorsa di configurazione del trasferimento utilizzando il metodo . Per trovare il nome della risorsa di una configurazione di trasferimento, vedi Ottenere informazioni sui trasferimenti

  "requestedRunTime": "RUN_TIME"

Sostituisci quanto segue:

RUN_TIME è un timestamp che specifica la data di un bonifico precedente. Utilizza timestamp che terminano con Z o che contengono un fuso orario valido di offset, ad esempio 2022-08-19T12:11:35.00Z o 2022-05-25T00:00:00+00:00.
- Se il trasferimento non ha un parametro di runtime o vuoi semplicemente attivare un trasferimento ora senza specificare un trasferimento precedente, l'ora corrente in questo campo.

Per avviare manualmente l'esecuzione di un trasferimento per un intervallo di date, specifica un intervallo di date:

"requestedTimeRange": {
  "startTime": "START_TIME",
  "endTime": "END_TIME"
}

Sostituisci quanto segue:

START_TIME e END_TIME sono timestamp che terminano con Z o contengono uno scarto di fuso orario valido. Questi valori specificano l'intervallo di tempo contenente le esecuzioni di trasferimento precedenti di cui vuoi eseguire il backfill da, ad esempio 2022-08-19T12:11:35.00Z o 2022-05-25T00:00:00+00:00

Java

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ScheduleTransferRunsRequest;
import com.google.cloud.bigquery.datatransfer.v1.ScheduleTransferRunsResponse;
import com.google.protobuf.Timestamp;
import java.io.IOException;
import org.threeten.bp.Clock;
import org.threeten.bp.Instant;
import org.threeten.bp.temporal.ChronoUnit;

// Sample to run schedule back fill for transfer config
public class ScheduleBackFill {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String configId = "MY_CONFIG_ID";
    Clock clock = Clock.systemDefaultZone();
    Instant instant = clock.instant();
    Timestamp startTime =
        Timestamp.newBuilder()
            .setSeconds(instant.minus(5, ChronoUnit.DAYS).getEpochSecond())
            .setNanos(instant.minus(5, ChronoUnit.DAYS).getNano())
            .build();
    Timestamp endTime =
        Timestamp.newBuilder()
            .setSeconds(instant.minus(2, ChronoUnit.DAYS).getEpochSecond())
            .setNanos(instant.minus(2, ChronoUnit.DAYS).getNano())
            .build();
    scheduleBackFill(configId, startTime, endTime);
  }

  public static void scheduleBackFill(String configId, Timestamp startTime, Timestamp endTime)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ScheduleTransferRunsRequest request =
          ScheduleTransferRunsRequest.newBuilder()
              .setParent(configId)
              .setStartTime(startTime)
              .setEndTime(endTime)
              .build();
      ScheduleTransferRunsResponse response = client.scheduleTransferRuns(request);
      System.out.println("Schedule backfill run successfully :" + response.getRunsCount());
    } catch (ApiException ex) {
      System.out.print("Schedule backfill was not run." + ex.toString());
    }
  }
}

Python

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

import datetime

from google.cloud.bigquery_datatransfer_v1 import (
    DataTransferServiceClient,
    StartManualTransferRunsRequest,
)

# Create a client object
client = DataTransferServiceClient()

# Replace with your transfer configuration name
transfer_config_name = "projects/1234/locations/us/transferConfigs/abcd"
now = datetime.datetime.now(datetime.timezone.utc)
start_time = now - datetime.timedelta(days=5)
end_time = now - datetime.timedelta(days=2)

# Some data sources, such as scheduled_query only support daily run.
# Truncate start_time and end_time to midnight time (00:00AM UTC).
start_time = datetime.datetime(
    start_time.year, start_time.month, start_time.day, tzinfo=datetime.timezone.utc
)
end_time = datetime.datetime(
    end_time.year, end_time.month, end_time.day, tzinfo=datetime.timezone.utc
)

requested_time_range = StartManualTransferRunsRequest.TimeRange(
    start_time=start_time,
    end_time=end_time,
)

# Initialize request argument(s)
request = StartManualTransferRunsRequest(
    parent=transfer_config_name,
    requested_time_range=requested_time_range,
)

# Make the request
response = client.start_manual_transfer_runs(request=request)

# Handle the response
print("Started manual transfer runs:")
for run in response.runs:
    print(f"backfill: {run.run_time} run: {run.name}")

Logging e monitoraggio

BigQuery Data Transfer Service esporta log e metriche in Cloud Monitoring e Cloud Logging che offrono osservabilità dei trasferimenti. Puoi Utilizzare Monitoring per configurare le dashboard per monitorare i trasferimenti, valutare le prestazioni dell'esecuzione dei trasferimenti e visualizzare i messaggi di errore per risolvere gli errori di trasferimento. Puoi utilizzare Logging per visualizzare i log relativi a un'esecuzione o a una configurazione di trasferimento.

Puoi anche visualizzare i log di controllo disponibili a BigQuery Data Transfer Service per i log delle attività di trasferimento e dell'accesso ai dati.