La plantilla de Spanner a archivos Avro en Cloud Storage es una canalización por lotes que exporta una base de datos completa de Spanner a Cloud Storage en formato Avro. Exportar una base de datos de Spanner crea una carpeta en el bucket que selecciones. La carpeta contiene estos archivos:
- Un archivo
spanner-export.json
- Un archivo
TableName-manifest.json
para cada tabla de la base de datos que exportaste. - Uno o más archivos
TableName.avro-#####-of-#####
Por ejemplo, cuando se exporta una base de datos con dos tablas, Singers
y Albums
, se crea el siguiente conjunto de archivos:
Albums-manifest.json
Albums.avro-00000-of-00002
Albums.avro-00001-of-00002
Singers-manifest.json
Singers.avro-00000-of-00003
Singers.avro-00001-of-00003
Singers.avro-00002-of-00003
spanner-export.json
Requisitos de la canalización
- La base de datos de Spanner debe existir.
- El bucket de salida de Cloud Storage debe existir.
- Además de los roles de Identity and Access Management (IAM) necesarios para ejecutar trabajos de Dataflow, también debes tener los roles de IAM adecuados para leer los datos de Spanner y escribir en el bucket de Cloud Storage.
Parámetros de la plantilla
Parámetros obligatorios
- instanceId: ID de instancia de la base de datos de Spanner que quieres exportar.
- databaseId: ID de la base de datos de Spanner que quieres exportar.
- outputDir: la ruta de Cloud Storage a la que se exportarán los archivos de Avro. El trabajo de exportación crea un directorio nuevo en esta ruta de acceso que contiene los archivos exportados. (Ejemplo: gs://your-bucket/your-path).
Parámetros opcionales
- avroTempDirectory: la ruta de Cloud Storage en la que se escriben los archivos Avro temporales (opcional).
- spannerHost: El extremo de Cloud Spanner al que se llamará en la plantilla. Solo se usa para pruebas. (Ejemplo: https://batch-spanner.googleapis.com). La configuración predeterminada es https://batch-spanner.googleapis.com.
- snapshotTime: la marca de tiempo que corresponde a la versión de la base de datos de Spanner que deseas leer (opcional). La marca de tiempo debe especificarse con el formato
Zulu
RFC 3339 UTC. La marca de tiempo debe ser del pasado y se aplica la Máxima marca de tiempo de inactividad. (Ejemplo: 1990-12-31T23:59:60Z). La configuración predeterminada es vacía. - spannerProjectId: el ID del proyecto de Google Cloud que contiene la base de datos de Spanner de la que quieres leer los datos.
- shouldExportTimestampAsLogicalType: si es verdadero, las marcas de tiempo se exportan como un tipo
long
el tipo lógicotimestamp-micros
. De forma predeterminada, este parámetro se establece enfalse
y las marcas de tiempo se exportan como cadenas ISO-8601 con precisión de nanosegundos. - tableNames: una lista separada por comas de tablas que especifican el subconjunto de la base de datos de Spanner para exportar. Si configuras este parámetro, debes incluir todas las tablas relacionadas (tablas superiores y tablas a las que se hace referencia en la clave externa) o, de lo contrario, configurar el parámetro
shouldExportRelatedTables
entrue
. Si la tabla está en un esquema con nombre, usa el nombre completamente calificado. Por ejemplo:sch1.foo
, en el quesch1
es el nombre del esquema yfoo
es el nombre de la tabla. La configuración predeterminada es vacía. - shouldExportRelatedTables: indica si se deben incluir tablas relacionadas. Este parámetro se usa junto con el parámetro
tableNames
. La configuración predeterminada es "false". - spannerPriority: la prioridad de solicitud para llamadas de Spanner. Los valores posibles son
HIGH
,MEDIUM
yLOW
. El valor predeterminado esMEDIUM
. - dataBoostEnabled: configúralo como
true
para usar los recursos de procesamiento de Spanner Data Boost para ejecutar el trabajo con un impacto casi nulo en los flujos de trabajo de OLTP de Spanner. Cuando se establece entrue
, también necesitas el permiso de IAMspanner.databases.useDataBoost
. Para obtener más información, consulta la descripción general de Data Boost (https://cloud.google.com/spanner/docs/databoost/databoost-overview). La configuración predeterminada es "false".
Ejecuta la plantilla
Console
- Ve a la página Crear un trabajo a partir de una plantilla de Dataflow. Ir a Crear un trabajo a partir de una plantilla
- En el campo Nombre del trabajo, ingresa un nombre de trabajo único.
Para que el trabajo aparezca en la página Instancias de Spanner de la consola de Google Cloud, el nombre del trabajo debe coincidir con el siguiente formato:
cloud-spanner-export-SPANNER_INSTANCE_ID-SPANNER_DATABASE_NAME
Reemplaza lo siguiente:
SPANNER_INSTANCE_ID
: El ID de tu instancia de SpannerSPANNER_DATABASE_NAME
: El nombre de tu base de datos de Spanner
- Opcional: Para Extremo regional, selecciona un valor del menú desplegable. La región predeterminada es
us-central1
.Para obtener una lista de regiones en las que puedes ejecutar un trabajo de Dataflow, consulta Ubicaciones de Dataflow.
- En el menú desplegable Plantilla de Dataflow, selecciona the Cloud Spanner to Avro Files on Cloud Storage template.
- En los campos de parámetros proporcionados, ingresa los valores de tus parámetros.
- Haga clic en Ejecutar trabajo.
gcloud
En tu shell o terminal, ejecuta la plantilla:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Spanner_to_GCS_Avro \ --region REGION_NAME \ --staging-location GCS_STAGING_LOCATION \ --parameters \ instanceId=INSTANCE_ID,\ databaseId=DATABASE_ID,\ outputDir=GCS_DIRECTORY
Reemplaza lo siguiente:
JOB_NAME
: Es el nombre del trabajo que elijasPara que el trabajo se muestre en la parte de Spanner de la consola de Google Cloud, el nombre del trabajo debe coincidir con el formato
cloud-spanner-export-INSTANCE_ID-DATABASE_ID
.VERSION
: Es la versión de la plantilla que deseas usar.Puedes usar los siguientes valores:
latest
para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/- el nombre de la versión, como
2023-09-12-00_RC00
, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
REGION_NAME
: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo,us-central1
GCS_STAGING_LOCATION
: Es la ruta en la que se deben escribir archivos temporales, por ejemplo,gs://mybucket/temp
.INSTANCE_ID
: el ID de instancia de SpannerDATABASE_ID
: el ID de la base de datos de SpannerGCS_DIRECTORY
: Es la ruta de Cloud Storage que los archivos Avro se exportan a .
API
Para ejecutar la plantilla con la API de REST, envía una solicitud POST HTTP. Para obtener más información de la API y sus permisos de autorización, consulta projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Spanner_to_GCS_Avro { "jobName": "JOB_NAME", "parameters": { "instanceId": "INSTANCE_ID", "databaseId": "DATABASE_ID", "outputDir": "gs://GCS_DIRECTORY" } }
Reemplaza lo siguiente:
PROJECT_ID
: El ID del proyecto de Google Cloud en el que deseas ejecutar el trabajo de Dataflow.JOB_NAME
: Es el nombre del trabajo que elijasPara que el trabajo se muestre en la parte de Spanner de la consola de Google Cloud, el nombre del trabajo debe coincidir con el formato
cloud-spanner-export-INSTANCE_ID-DATABASE_ID
.VERSION
: Es la versión de la plantilla que deseas usar.Puedes usar los siguientes valores:
latest
para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/- el nombre de la versión, como
2023-09-12-00_RC00
, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
LOCATION
: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo,us-central1
GCS_STAGING_LOCATION
: Es la ruta en la que se deben escribir archivos temporales, por ejemplo,gs://mybucket/temp
.INSTANCE_ID
: el ID de instancia de SpannerDATABASE_ID
: el ID de la base de datos de SpannerGCS_DIRECTORY
: Es la ruta de Cloud Storage que los archivos Avro se exportan a .
¿Qué sigue?
- Obtén información sobre las plantillas de Dataflow.
- Consulta la lista de plantillas que proporciona Google.