Il modello Cloud Storage SequenceFile to Bigtable è una pipeline che legge i dati da SequenceFile in un bucket Cloud Storage e li scrive in una tabella Bigtable. Puoi utilizzare il modello per copiare i dati da Cloud Storage a Bigtable.
Requisiti della pipeline
- La tabella Bigtable deve esistere.
- Il valore SequenceFiles di input deve esistere in un bucket Cloud Storage prima di eseguire la pipeline.
- Il file SequenceFile di input deve essere stato esportato da Bigtable o HBase.
Parametri del modello
Parametro | Descrizione |
---|---|
bigtableProject |
L'ID del progetto Google Cloud dell'istanza Bigtable in cui vuoi scrivere dati. |
bigtableInstanceId |
L'ID dell'istanza Bigtable che contiene la tabella. |
bigtableTableId |
L'ID della tabella Bigtable da importare. |
bigtableAppProfileId |
L'ID del profilo dell'applicazione Bigtable da utilizzare per l'importazione. Se non specifichi un profilo dell'app, Bigtable utilizza il profilo dell'app predefinito dell'istanza. |
sourcePattern |
Il pattern del percorso di Cloud Storage in cui si trovano i dati. Ad esempio, gs://mybucket/somefolder/prefix* . |
Esegui il modello
Console
- Vai alla pagina Crea job da modello di Dataflow. Vai a Crea job da modello
- Nel campo Nome job, inserisci un nome univoco per il job.
- (Facoltativo) Per Endpoint a livello di regione, seleziona un valore dal menu a discesa. La regione predefinita è
us-central1
.Per un elenco delle regioni in cui puoi eseguire un job Dataflow, vedi Località Dataflow.
- Nel menu a discesa Modello Dataflow, seleziona the SequenceFile Files on Cloud Storage to Cloud Bigtable template.
- Nei campi dei parametri forniti, inserisci i valori dei parametri.
- Fai clic su Esegui job.
gcloud
Nella shell o nel terminale, esegui il modello:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/GCS_SequenceFile_to_Cloud_Bigtable \ --region REGION_NAME \ --parameters \ bigtableProject=BIGTABLE_PROJECT_ID,\ bigtableInstanceId=INSTANCE_ID,\ bigtableTableId=TABLE_ID,\ bigtableAppProfileId=APPLICATION_PROFILE_ID,\ sourcePattern=SOURCE_PATTERN
Sostituisci quanto segue:
JOB_NAME
: un nome job univoco a tua sceltaVERSION
: la versione del modello che vuoi utilizzarePuoi utilizzare i seguenti valori:
latest
per utilizzare la versione più recente del modello, disponibile nella cartella padre senza data del bucket: gs://dataflow-templates-REGION_NAME/latest/- il nome della versione, come
2023-09-12-00_RC00
, per utilizzare una versione specifica del modello, che si trova nidificata nella rispettiva cartella padre con data all'interno del bucket: gs://dataflow-templates-REGION_NAME/
REGION_NAME
: la regione in cui vuoi eseguire il deployment del job Dataflow, ad esempious-central1
BIGTABLE_PROJECT_ID
: l'ID del progetto Google Cloud dell'istanza Bigtable da cui vuoi leggere i datiINSTANCE_ID
: l'ID dell'istanza Bigtable che contiene la tabellaTABLE_ID
: l'ID della tabella Bigtable da esportareAPPLICATION_PROFILE_ID
: l'ID del profilo dell'applicazione Bigtable da utilizzare per l'esportazioneSOURCE_PATTERN
: il pattern del percorso di Cloud Storage in cui si trovano i dati, ad esempiogs://mybucket/somefolder/prefix*
API
Per eseguire il modello utilizzando l'API REST, invia una richiesta POST HTTP. Per maggiori informazioni sull'API e sui relativi ambiti di autorizzazione, consulta projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/GCS_SequenceFile_to_Cloud_Bigtable { "jobName": "JOB_NAME", "parameters": { "bigtableProject": "BIGTABLE_PROJECT_ID", "bigtableInstanceId": "INSTANCE_ID", "bigtableTableId": "TABLE_ID", "bigtableAppProfileId": "APPLICATION_PROFILE_ID", "sourcePattern": "SOURCE_PATTERN", }, "environment": { "zone": "us-central1-f" } }
Sostituisci quanto segue:
PROJECT_ID
: l'ID del progetto Google Cloud in cui vuoi eseguire il job DataflowJOB_NAME
: un nome job univoco a tua sceltaVERSION
: la versione del modello che vuoi utilizzarePuoi utilizzare i seguenti valori:
latest
per utilizzare la versione più recente del modello, disponibile nella cartella padre senza data del bucket: gs://dataflow-templates-REGION_NAME/latest/- il nome della versione, come
2023-09-12-00_RC00
, per utilizzare una versione specifica del modello, che si trova nidificata nella rispettiva cartella padre con data all'interno del bucket: gs://dataflow-templates-REGION_NAME/
LOCATION
: la regione in cui vuoi eseguire il deployment del job Dataflow, ad esempious-central1
BIGTABLE_PROJECT_ID
: l'ID del progetto Google Cloud dell'istanza Bigtable da cui vuoi leggere i datiINSTANCE_ID
: l'ID dell'istanza Bigtable che contiene la tabellaTABLE_ID
: l'ID della tabella Bigtable da esportareAPPLICATION_PROFILE_ID
: l'ID del profilo dell'applicazione Bigtable da utilizzare per l'esportazioneSOURCE_PATTERN
: il pattern del percorso di Cloud Storage in cui si trovano i dati, ad esempiogs://mybucket/somefolder/prefix*
Passaggi successivi
- Scopri di più sui modelli Dataflow.
- Consulta l'elenco dei modelli forniti da Google.