Modello BigQuery a Bigtable

Il modello BigQuery to Bigtable è una pipeline batch che copia i dati da una tabella BigQuery in una tabella Bigtable esistente. Il modello può leggere l'intera tabella o record specifici utilizzando una query fornita.

Requisiti della pipeline

Parametri del modello

Parametri obbligatori

  • readIdColumn: il nome della colonna BigQuery che memorizza l'identificatore univoco della riga.
  • bigtableWriteInstanceId: l'ID dell'istanza Bigtable contenente la tabella.
  • bigtableWriteTableId: l'ID della tabella Bigtable in cui scrivere.
  • bigtableWriteColumnFamily: il nome della famiglia di colonne della tabella Bigtable in cui scrivere i dati.

Parametri facoltativi

  • inputTableSpec: la tabella BigQuery da cui leggere. Se specifichi inputTableSpec, il modello legge i dati direttamente dallo spazio di archiviazione BigQuery utilizzando l'API BigQuery Storage Read (https://cloud.google.com/bigquery/docs/reference/storage). Per informazioni sulle limitazioni dell'API Storage di lettura, consulta https://cloud.google.com/bigquery/docs/reference/storage#limitations. Devi specificare inputTableSpec o query. Se imposti entrambi i parametri, il modello utilizza il parametro query. Ad esempio, <BIGQUERY_PROJECT>:<DATASET_NAME>.<INPUT_TABLE>.
  • outputDeadletterTable: la tabella BigQuery per i messaggi che non sono riusciti a raggiungere la tabella di output. Se una tabella non esiste, viene creata durante l'esecuzione della pipeline. Se non specificato, viene utilizzato <outputTableSpec>_error_records. Ad esempio: <PROJECT_ID>:<DATASET_NAME>.<DEADLETTER_TABLE>.
  • query: la query SQL da utilizzare per leggere i dati da BigQuery. Se il set di dati BigQuery si trova in un progetto diverso da quello del job Dataflow, specifica il nome completo del set di dati nella query SQL, ad esempio: <PROJECT_ID>.<DATASET_NAME>.<TABLE_NAME>. Per impostazione predefinita, il parametro query utilizza GoogleSQL (https://cloud.google.com/bigquery/docs/introduction-sql), a meno che useLegacySql non sia true. Devi specificare inputTableSpec o query. Se imposti entrambi i parametri, il modello utilizza il parametro query. Ad esempio, select * from sampledb.sample_table.
  • useLegacySql: impostato su true per utilizzare l'SQL precedente. Questo parametro si applica solo se utilizzi il parametro query. Il valore predefinito è false.
  • queryLocation: necessario per la lettura da una vista autorizzata senza l'autorizzazione della tabella sottostante. Ad esempio, US.
  • bigtableRpcAttemptTimeoutMs: il timeout per ogni tentativo RPC Bigtable in millisecondi.
  • bigtableRpcTimeoutMs: il timeout totale per un'operazione RPC Bigtable in millisecondi.
  • bigtableAdditionalRetryCodes: i codici di ripetizione aggiuntivi. Ad esempio, RESOURCE_EXHAUSTED,DEADLINE_EXCEEDED.
  • bigtableWriteAppProfile: l'ID del profilo dell'applicazione Bigtable da utilizzare per l'esportazione. Se non specifichi un profilo dell'app, Bigtable utilizza il profilo dell'app predefinito (https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile) dell'istanza.
  • bigtableWriteProjectId: l'ID del progetto Google Cloud contenente l'istanza Bigtable in cui scrivere i dati.
  • bigtableBulkWriteLatencyTargetMs: il target di latenza di Bigtable in millisecondi per il throttling in base alla latenza.
  • bigtableBulkWriteMaxRowKeyCount: il numero massimo di chiavi di riga in un'operazione di scrittura collettiva Bigtable.
  • bigtableBulkWriteMaxRequestSizeBytes: il numero massimo di byte da includere per operazione di scrittura collettiva Bigtable.

Esegui il modello

Console

  1. Vai alla pagina Crea job da modello di Dataflow.
  2. Vai a Crea job da modello
  3. Nel campo Nome job, inserisci un nome univoco per il job.
  4. (Facoltativo) Per Endpoint a livello di regione, seleziona un valore dal menu a discesa. La regione predefinita è us-central1.

    Per un elenco delle regioni in cui puoi eseguire un job Dataflow, consulta Località di Dataflow.

  5. Nel menu a discesa Modello di flusso di dati, seleziona the BigQuery to Bigtable template.
  6. Nei campi dei parametri forniti, inserisci i valori dei parametri.
  7. Fai clic su Esegui job.

gcloud

Nella shell o nel terminale, esegui il modello:

gcloud dataflow flex-template run JOB_NAME \
    --project=PROJECT_ID \
    --region=REGION_NAME \
    --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/BigQuery_to_Bigtable \
    --parameters \
readIdColumn=READ_COLUMN_ID,\
inputTableSpec=INPUT_TABLE_SPEC,\
bigtableWriteInstanceId=BIGTABLE_INSTANCE_ID,\
bigtableWriteTableId=BIGTABLE_TABLE_ID,\
bigtableWriteColumnFamily=BIGTABLE_COLUMN_FAMILY

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del progetto Google Cloud in cui vuoi eseguire il job Dataflow
  • JOB_NAME: un nome di job univoco a tua scelta
  • REGION_NAME: la regione in cui vuoi eseguire il deployment del job Dataflow, ad esempio us-central1
  • VERSION: la versione del modello che vuoi utilizzare

    Puoi utilizzare i seguenti valori:

  • READ_COLUMN_ID: la colonna dell'ID univoco BigQuery.
  • INPUT_TABLE_SPEC: il nome della tabella BigQuery.
  • BIGTABLE_INSTANCE_ID: l'ID istanza Bigtable.
  • BIGTABLE_TABLE_ID: l'ID della tabella Bigtable.
  • BIGTABLE_COLUMN_FAMILY: la famiglia di colonne della tabella Bigtable.

API

Per eseguire il modello utilizzando l'API REST, invia una richiesta POST HTTP. Per ulteriori informazioni sull'API e sui relativi ambiti di autorizzazione, consulta projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
{
   "launch_parameter": {
      "jobName": "JOB_NAME",
      "parameters": {
          "readIdColumn": "READ_COLUMN_ID",
          "inputTableSpec": "INPUT_TABLE_SPEC",
          "bigtableWriteInstanceId": "BIGTABLE_INSTANCE_ID",
          "bigtableWriteTableId": "BIGTABLE_TABLE_ID",
          "bigtableWriteColumnFamily": "BIGTABLE_COLUMN_FAMILY"
      },
      "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/BigQuery_to_Bigtable",
   }
}

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del progetto Google Cloud in cui vuoi eseguire il job Dataflow
  • JOB_NAME: un nome di job univoco a tua scelta
  • LOCATION: la regione in cui vuoi eseguire il deployment del job Dataflow, ad esempio us-central1
  • VERSION: la versione del modello che vuoi utilizzare

    Puoi utilizzare i seguenti valori:

  • READ_COLUMN_ID: la colonna dell'ID univoco BigQuery.
  • INPUT_TABLE_SPEC: il nome della tabella BigQuery.
  • BIGTABLE_INSTANCE_ID: l'ID istanza Bigtable.
  • BIGTABLE_TABLE_ID: l'ID della tabella Bigtable.
  • BIGTABLE_COLUMN_FAMILY: la famiglia di colonne della tabella Bigtable.

Passaggi successivi