Il modello Parquet da Bigtable a Cloud Storage è una pipeline che legge i dati da Bigtable e la scrive in un bucket Cloud Storage in formato Parquet. Puoi utilizzare il modello per spostare i dati da Bigtable a Cloud Storage.
Requisiti della pipeline
- La tabella Bigtable deve esistere.
- Il bucket Cloud Storage di output deve esistere prima dell'esecuzione della pipeline.
Parametri del modello
Parametri obbligatori
- bigtableProjectId: l'ID del progetto Google Cloud contenente l'istanza Cloud Bigtable da cui vuoi leggere i dati.
- bigtableInstanceId : l'ID dell'istanza Cloud Bigtable che contiene la tabella.
- bigtableTableId : l'ID della tabella Cloud Bigtable da esportare.
- outputDirectory : il percorso e il prefisso del nome file per la scrittura dei file di output. Deve terminare con una barra. La formattazione DateTime viene utilizzata per analizzare il percorso della directory per i formattatori di date e ore. Ad esempio: gs://your-bucket/your-path.
- filenamePrefix : il prefisso del nome del file Parquet. Ad esempio, "tabella1-". Il valore predefinito è parte.
Parametri facoltativi
- numShards : il numero massimo di shard di output prodotti durante la scrittura. Un numero maggiore di shard comporta una maggiore velocità effettiva per la scrittura in Cloud Storage, ma un costo potenzialmente più elevato per l'aggregazione dei dati tra gli shard durante l'elaborazione dei file di output di Cloud Storage. Il valore predefinito viene deciso da Dataflow.
- bigtableAppProfileId : l'ID del profilo dell'applicazione Bigtable da utilizzare per l'esportazione. Se non specifichi un profilo dell'app, Bigtable utilizza il profilo dell'app predefinito dell'istanza: https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile.
Esegui il modello
Console
- Vai alla pagina Crea job da modello di Dataflow. Vai a Crea job da modello
- Nel campo Nome job, inserisci un nome univoco per il job.
- (Facoltativo) Per Endpoint a livello di regione, seleziona un valore dal menu a discesa. Il valore predefinito
è
us-central1
.Per un elenco di regioni in cui è possibile eseguire un job Dataflow, consulta Località di Dataflow.
- Dal menu a discesa Modello Dataflow, seleziona the Cloud Bigtable to Parquet Files on Cloud Storage template.
- Nei campi dei parametri forniti, inserisci i valori dei parametri.
- Fai clic su Esegui job.
gcloud
Nella shell o nel terminale, esegui il modello:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Bigtable_to_GCS_Parquet \ --region REGION_NAME \ --parameters \ bigtableProjectId=BIGTABLE_PROJECT_ID,\ bigtableInstanceId=INSTANCE_ID,\ bigtableTableId=TABLE_ID,\ outputDirectory=OUTPUT_DIRECTORY,\ filenamePrefix=FILENAME_PREFIX,\ numShards=NUM_SHARDS
Sostituisci quanto segue:
JOB_NAME
: un nome di job univoco a tua sceltaVERSION
: la versione del modello che vuoi utilizzarePuoi utilizzare i seguenti valori:
latest
per utilizzare la versione più recente del modello, disponibile in cartella principale non-dated nel bucket: gs://dataflow-templates-REGION_NAME/latest/- il nome della versione, ad esempio
2023-09-12-00_RC00
, per utilizzare una versione specifica , che puoi trovare nidificata nella rispettiva cartella principale con data del bucket: gs://dataflow-templates-REGION_NAME/
REGION_NAME
: la regione in cui vuoi di eseguire il deployment del job Dataflow, ad esempious-central1
BIGTABLE_PROJECT_ID
: l'ID del progetto Google Cloud dell'istanza Bigtable da cui vuoi leggere i datiINSTANCE_ID
: l'ID dell'istanza Bigtable che contiene la tabellaTABLE_ID
: l'ID della tabella Bigtable da esportareOUTPUT_DIRECTORY
: il percorso di Cloud Storage in cui vengono scritti i dati, ad esempiogs://mybucket/somefolder
FILENAME_PREFIX
: il prefisso del nome file Parquet, ad esempiooutput-
NUM_SHARDS
: il numero di file Parquet da generare, ad esempio1
API
Per eseguire il modello utilizzando l'API REST, invia una richiesta POST HTTP. Per ulteriori informazioni sul
API e i relativi ambiti di autorizzazione, consulta
projects.templates.launch
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Bigtable_to_GCS_Parquet { "jobName": "JOB_NAME", "parameters": { "bigtableProjectId": "BIGTABLE_PROJECT_ID", "bigtableInstanceId": "INSTANCE_ID", "bigtableTableId": "TABLE_ID", "outputDirectory": "OUTPUT_DIRECTORY", "filenamePrefix": "FILENAME_PREFIX", "numShards": "NUM_SHARDS" }, "environment": { "zone": "us-central1-f" } }
Sostituisci quanto segue:
PROJECT_ID
: L'ID progetto Google Cloud in cui vuoi eseguire il job DataflowJOB_NAME
: un nome di job univoco a tua sceltaVERSION
: la versione del modello che vuoi utilizzarePuoi utilizzare i seguenti valori:
latest
per utilizzare la versione più recente del modello, disponibile in cartella principale non-dated nel bucket: gs://dataflow-templates-REGION_NAME/latest/- il nome della versione, ad esempio
2023-09-12-00_RC00
, per utilizzare una versione specifica del modello, che si trova nidificata nella rispettiva cartella principale datata nel bucket: gs://dataflow-templates-REGION_NAME/
LOCATION
: la regione in cui vuoi eseguire il deployment del job Dataflow, ad esempious-central1
BIGTABLE_PROJECT_ID
: l'ID del progetto Google Cloud dell'istanza Bigtable da cui vuoi leggere i datiINSTANCE_ID
: l'ID dell'istanza Bigtable che contiene la tabellaTABLE_ID
: l'ID della tabella Bigtable da esportareOUTPUT_DIRECTORY
: il percorso di Cloud Storage in cui vengono scritti i dati, ad esempiogs://mybucket/somefolder
FILENAME_PREFIX
: il prefisso del nome file Parquet, ad esempiooutput-
NUM_SHARDS
: il numero di file Parquet da generare, ad esempio1
Passaggi successivi
- Scopri di più sui modelli Dataflow.
- Consulta l'elenco dei modelli forniti da Google.