La plantilla de Spanner a Cloud Storage Text es una canalización por lotes que lee datos desde una tabla de Spanner y los escribe en Cloud Storage como archivos de texto CSV.
Requisitos de la canalización
- La tabla de entrada de Spanner debe existir antes de ejecutar la canalización.
Parámetros de la plantilla
Parámetros obligatorios
- spannerTable : La tabla de Spanner desde la que se leerán los datos.
- spannerProjectId : El ID del proyecto de Google Cloud que contiene la base de datos de Spanner desde la que se leerán los datos.
- spannerInstanceId : El ID de la instancia solicitada.
- spannerDatabaseId : El ID de la base de datos de la tabla solicitada.
- textWritePrefix : El prefijo de la ruta de acceso de Cloud Storage que especifica dónde se escriben los datos. (Ejemplo: gs://mybucket/somefolder/).
Parámetros opcionales
- csvTempDirectory : La ruta de Cloud Storage en la que se escriben los archivos CSV temporales (opcional). (Ejemplo: gs://your-bucket/your-path).
- spannerPriority : La prioridad de solicitud (https://cloud.google.com/spanner/docs/reference/rest/v1/RequestOptions) para las llamadas de Spanner. Los valores posibles son los siguientes:
HIGH
,MEDIUM
,LOW
. El valor predeterminado esMEDIUM
. - spannerHost: El extremo de Cloud Spanner al que se llamará en la plantilla. Solo se usa para pruebas. (Ejemplo: https://batch-spanner.googleapis.com). La configuración predeterminada es https://batch-spanner.googleapis.com.
- spannerSnapshotTime : La marca de tiempo que corresponde a la versión de la base de datos de Spanner desde la que deseas leer. La marca de tiempo debe especificarse en el formato "zulú" RFC 3339 (https://tools.ietf.org/html/rfc3339) UTC. La marca de tiempo debe ser del pasado y se aplica la máxima inactividad de la marca de tiempo (https://cloud.google.com/spanner/docs/timestamp-bounds#maximum_timestamp_staleness). (Ejemplo: 1990-12-31T23:59:60Z). La configuración predeterminada es vacía.
- dataBoostEnabled : Configúralo como
true
para usar los recursos de procesamiento de Spanner Data Boost para ejecutar el trabajo con un impacto casi nulo en los flujos de trabajo de OLTP de Spanner. Cuando es verdadero, se requiere el permisospanner.databases.useDataBoost
de Identity and Access Management (IAM). Para obtener más información, consulta la descripción general de Data Boost (https://cloud.google.com/spanner/docs/databoost/databoost-overview). La configuración predeterminada es "false".
Ejecuta la plantilla
Console
- Ve a la página Crear un trabajo a partir de una plantilla de Dataflow. Ir a Crear un trabajo a partir de una plantilla
- En el campo Nombre del trabajo, ingresa un nombre de trabajo único.
- Opcional: Para Extremo regional, selecciona un valor del menú desplegable. La región predeterminada es
us-central1
.Para obtener una lista de regiones en las que puedes ejecutar un trabajo de Dataflow, consulta Ubicaciones de Dataflow.
- En el menú desplegable Plantilla de Dataflow, selecciona the Cloud Spanner to Text Files on Cloud Storage template.
- En los campos de parámetros proporcionados, ingresa los valores de tus parámetros.
- Haga clic en Ejecutar trabajo.
gcloud
En tu shell o terminal, ejecuta la plantilla:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Spanner_to_GCS_Text \ --region REGION_NAME \ --parameters \ spannerProjectId=SPANNER_PROJECT_ID,\ spannerDatabaseId=DATABASE_ID,\ spannerInstanceId=INSTANCE_ID,\ spannerTable=TABLE_ID,\ textWritePrefix=gs://BUCKET_NAME/output/
Reemplaza lo siguiente:
JOB_NAME
: Es el nombre del trabajo que elijasVERSION
: Es la versión de la plantilla que deseas usar.Puedes usar los siguientes valores:
latest
para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/- el nombre de la versión, como
2023-09-12-00_RC00
, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
REGION_NAME
: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo,us-central1
SPANNER_PROJECT_ID
: Es el ID del proyecto de Google Cloud de la base de datos de Spanner desde la que deseas leer los datos.DATABASE_ID
: Es el ID de la base de datos de Spanner.BUCKET_NAME
: Es el nombre del bucket de Cloud Storage.INSTANCE_ID
: Es el ID de la instancia de Spanner.TABLE_ID
: Es el ID de la tabla de Spanner.
API
Para ejecutar la plantilla con la API de REST, envía una solicitud POST HTTP. Para obtener más información de la API y sus permisos de autorización, consulta projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Spanner_to_GCS_Text { "jobName": "JOB_NAME", "parameters": { "spannerProjectId": "SPANNER_PROJECT_ID", "spannerDatabaseId": "DATABASE_ID", "spannerInstanceId": "INSTANCE_ID", "spannerTable": "TABLE_ID", "textWritePrefix": "gs://BUCKET_NAME/output/" }, "environment": { "zone": "us-central1-f" } }
Reemplaza lo siguiente:
PROJECT_ID
: El ID del proyecto de Google Cloud en el que deseas ejecutar el trabajo de Dataflow.JOB_NAME
: Es el nombre del trabajo que elijasVERSION
: Es la versión de la plantilla que deseas usar.Puedes usar los siguientes valores:
latest
para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/- el nombre de la versión, como
2023-09-12-00_RC00
, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
LOCATION
: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo,us-central1
SPANNER_PROJECT_ID
: Es el ID del proyecto de Google Cloud de la base de datos de Spanner desde la que deseas leer los datos.DATABASE_ID
: Es el ID de la base de datos de Spanner.BUCKET_NAME
: Es el nombre del bucket de Cloud Storage.INSTANCE_ID
: Es el ID de la instancia de Spanner.TABLE_ID
: Es el ID de la tabla de Spanner.
¿Qué sigue?
- Obtén información sobre las plantillas de Dataflow.
- Consulta la lista de plantillas que proporciona Google.