La plantilla de Bigtable a Cloud Storage en SequenceFile es una canalización que lee datos de una tabla de Bigtable y escribe los datos en un bucket de Cloud Storage en formato SequenceFile. Puedes usar la plantilla para copiar datos de Bigtable a Cloud Storage.
Requisitos de la canalización
- La tabla de Bigtable debe existir.
- El bucket de Cloud Storage de salida debe existir antes de ejecutar la canalización.
Parámetros de la plantilla
Parámetro | Descripción |
---|---|
bigtableProject |
El ID del proyecto de Google Cloud de la instancia de Bigtable del que deseas leer los datos. |
bigtableInstanceId |
El ID de la instancia de Bigtable que contiene la tabla. |
bigtableTableId |
El ID de la tabla de Bigtable que se exportará. |
bigtableAppProfileId |
El ID del perfil de la aplicación de Bigtable que se usará para la exportación. Si no especificas un perfil de aplicación, Bigtable usa el perfil predeterminado de aplicación de la instancia. |
destinationPath |
La ruta de Cloud Storage en la que se escriben los datos. Por ejemplo, gs://mybucket/somefolder |
filenamePrefix |
El prefijo del nombre del archivo SequenceFile. Por ejemplo, output- . |
Ejecuta la plantilla
Consola
- Ve a la página Crear un trabajo a partir de una plantilla de Dataflow. Ir a Crear un trabajo a partir de una plantilla
- En el campo Nombre del trabajo, ingresa un nombre de trabajo único.
- Opcional: Para Extremo regional, selecciona un valor del menú desplegable. La región predeterminada es
us-central1
.Para obtener una lista de regiones en las que puedes ejecutar un trabajo de Dataflow, consulta Ubicaciones de Dataflow.
- En el menú desplegable Plantilla de Dataflow, selecciona the Cloud Bigtable to SequenceFile Files on Cloud Storage template .
- En los campos de parámetros proporcionados, ingresa los valores de tus parámetros.
- Haga clic en Ejecutar trabajo.
gcloud
En tu shell o terminal, ejecuta la plantilla:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Bigtable_to_GCS_SequenceFile \ --region REGION_NAME \ --parameters \ bigtableProject=BIGTABLE_PROJECT_ID,\ bigtableInstanceId=INSTANCE_ID,\ bigtableTableId=TABLE_ID,\ bigtableAppProfileId=APPLICATION_PROFILE_ID,\ destinationPath=DESTINATION_PATH,\ filenamePrefix=FILENAME_PREFIX
Reemplaza lo siguiente:
JOB_NAME
: Es el nombre del trabajo que elijasVERSION
: Es la versión de la plantilla que deseas usar.Puedes usar los siguientes valores:
latest
para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/- el nombre de la versión, como
2023-09-12-00_RC00
, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
REGION_NAME
: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo,us-central1
BIGTABLE_PROJECT_ID
: Es el ID del proyecto de Google Cloud de la instancia de Bigtable del que deseas leer los datos.INSTANCE_ID
: Es el ID de la instancia de Bigtable que contiene la tabla.TABLE_ID
: Es el ID de la tabla de Bigtable que se exportará.APPLICATION_PROFILE_ID
: Es el ID del perfil de la aplicación de Bigtable que se usará para la exportación.DESTINATION_PATH
: La ruta de Cloud Storage en la que se escriben los datos, por ejemplo,gs://mybucket/somefolder
FILENAME_PREFIX
: Es el prefijo del nombre del archivo SequenceFile, por ejemplo,output-
API
Para ejecutar la plantilla con la API de REST, envía una solicitud HTTP POST. Para obtener más información de la API y sus permisos de autorización, consulta projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Bigtable_to_GCS_SequenceFile { "jobName": "JOB_NAME", "parameters": { "bigtableProject": "BIGTABLE_PROJECT_ID", "bigtableInstanceId": "INSTANCE_ID", "bigtableTableId": "TABLE_ID", "bigtableAppProfileId": "APPLICATION_PROFILE_ID", "destinationPath": "DESTINATION_PATH", "filenamePrefix": "FILENAME_PREFIX", }, "environment": { "zone": "us-central1-f" } }
Reemplaza lo siguiente:
PROJECT_ID
: El ID del proyecto de Google Cloud en el que deseas ejecutar el trabajo de Dataflow.JOB_NAME
: Es el nombre del trabajo que elijasVERSION
: Es la versión de la plantilla que deseas usar.Puedes usar los siguientes valores:
latest
para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/- el nombre de la versión, como
2023-09-12-00_RC00
, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
LOCATION
: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo,us-central1
BIGTABLE_PROJECT_ID
: Es el ID del proyecto de Google Cloud de la instancia de Bigtable del que deseas leer los datos.INSTANCE_ID
: Es el ID de la instancia de Bigtable que contiene la tabla.TABLE_ID
: Es el ID de la tabla de Bigtable que se exportará.APPLICATION_PROFILE_ID
: Es el ID del perfil de la aplicación de Bigtable que se usará para la exportación.DESTINATION_PATH
: La ruta de Cloud Storage en la que se escriben los datos, por ejemplo,gs://mybucket/somefolder
FILENAME_PREFIX
: Es el prefijo del nombre del archivo SequenceFile, por ejemplo,output-
¿Qué sigue?
- Obtén información sobre las plantillas de Dataflow.
- Consulta la lista de plantillas que proporciona Google.