Plantilla de Avro de Cloud Storage a Spanner

La plantilla de Cloud Storage Avro a Spanner es una canalización por lotes que lee archivos Avro exportados desde Spanner almacenados en Cloud Storage y los importa a una base de datos de Spanner.

Requisitos de la canalización

  • La base de datos de destino de Spanner debe existir y estar vacía.
  • Debes tener permisos de lectura para el bucket de Cloud Storage y permisos de escritura para la base de datos de destino de Spanner.
  • La ruta de entrada a Cloud Storage debe existir y debe incluir un archivo spanner-export.json que contenga una descripción JSON de los archivos que se importarán.
  • Si el archivo Avro de origen no contiene una clave primaria, debes crear una tabla vacía de Spanner con una clave primaria antes de ejecutar la plantilla. Este paso no es necesario si el archivo de Avro define la clave primaria.

Parámetros de la plantilla

Parámetros obligatorios

  • instanceId: El ID de la instancia de la base de datos de Spanner.
  • databaseId: El ID de la base de datos de Spanner.
  • inputDir: La ruta de acceso de Cloud Storage desde la que se importan los archivos Avro.

Parámetros opcionales

  • spannerHost: El extremo de Cloud Spanner al que se llamará en la plantilla. Solo se usa para pruebas. (Ejemplo: https://batch-spanner.googleapis.com). La configuración predeterminada es https://batch-spanner.googleapis.com.
  • waitForIndexes: Si es true, la canalización espera a que se creen índices. Si es false, el trabajo puede completarse mientras se crean los índices en segundo plano. El valor predeterminado es false.
  • waitForForeignKeys: Si es true, la canalización espera a que se creen claves externas. Si es false, el trabajo podría completarse mientras se crean las claves externas en segundo plano. El valor predeterminado es false.
  • waitForChangeStreams: Si es true, la canalización espera a que se creen los flujos de cambios. Si es false, el trabajo puede completarse mientras se siguen creando flujos de cambios en segundo plano. El valor predeterminado es true.
  • waitForSequences: De forma predeterminada, la canalización de importación se bloquea cuando se crea la secuencia. Si es false, la canalización de importación podría completarse con secuencias que aún se están creando en segundo plano.
  • earlyIndexCreateFlag : Especifica si está habilitada la creación temprana de índices. Si la plantilla ejecuta una gran cantidad de sentencias DDL, es más eficiente crear índices antes de cargar datos. Por lo tanto, el comportamiento predeterminado es crear los índices primero cuando la cantidad de sentencias DDL supere un umbral. Para inhabilitar esta función, establece earlyIndexCreateFlag en false. El valor predeterminado es true.
  • spannerProjectId: El ID del proyecto de Google Cloud que contiene la base de datos de Spanner. Si no está configurado, se usa el proyecto predeterminado de Google Cloud.
  • ddlCreationTimeoutInMinutes: El tiempo de espera, en minutos, de las sentencias DDL que realiza la plantilla. El valor predeterminado es de 30 minutos.
  • spannerPriority: La prioridad de solicitud para llamadas de Spanner. Los valores posibles son HIGH, MEDIUM y LOW. El valor predeterminado es MEDIUM.

Ejecuta la plantilla

Console

  1. Ve a la página Crear un trabajo a partir de una plantilla de Dataflow.
  2. Ir a Crear un trabajo a partir de una plantilla
  3. En el campo Nombre del trabajo, ingresa un nombre de trabajo único.

    Para que el trabajo aparezca en la página Instancias de Spanner de la consola de Google Cloud, el nombre del trabajo debe coincidir con el siguiente formato:

    cloud-spanner-import-SPANNER_INSTANCE_ID-SPANNER_DATABASE_NAME

    Reemplaza lo siguiente:

    • SPANNER_INSTANCE_ID: El ID de tu instancia de Spanner
    • SPANNER_DATABASE_NAME: El nombre de tu base de datos de Spanner
  4. Opcional: Para Extremo regional, selecciona un valor del menú desplegable. La región predeterminada es us-central1.

    Para obtener una lista de regiones en las que puedes ejecutar un trabajo de Dataflow, consulta Ubicaciones de Dataflow.

  5. En el menú desplegable Plantilla de Dataflow, selecciona the Avro Files on Cloud Storage to Cloud Spanner template.
  6. En los campos de parámetros proporcionados, ingresa los valores de tus parámetros.
  7. Haga clic en Ejecutar trabajo.

gcloud

En tu shell o terminal, ejecuta la plantilla:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/GCS_Avro_to_Cloud_Spanner \
    --region REGION_NAME \
    --staging-location GCS_STAGING_LOCATION \
    --parameters \
instanceId=INSTANCE_ID,\
databaseId=DATABASE_ID,\
inputDir=GCS_DIRECTORY

Reemplaza lo siguiente:

  • JOB_NAME: Es el nombre del trabajo que elijas
  • VERSION: Es la versión de la plantilla que deseas usar.

    Puedes usar los siguientes valores:

    • latest para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/
    • el nombre de la versión, como 2023-09-12-00_RC00, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
  • REGION_NAME: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo, us-central1
  • INSTANCE_ID: Es el ID de la instancia de Spanner que contiene la base de datos.
  • DATABASE_ID: Es el ID de la base de datos de Spanner a la cual importar.
  • GCS_DIRECTORY: Es la ruta de Cloud Storage desde la que se importan los archivos Avro, por ejemplo, gs://mybucket/somefolder.

API

Para ejecutar la plantilla con la API de REST, envía una solicitud POST HTTP. Para obtener más información de la API y sus permisos de autorización, consulta projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/GCS_Avro_to_Cloud_Spanner
{
   "jobName": "JOB_NAME",
   "parameters": {
       "instanceId": "INSTANCE_ID",
       "databaseId": "DATABASE_ID",
       "inputDir": "gs://GCS_DIRECTORY"
   },
   "environment": {
       "machineType": "n1-standard-2"
   }
}

Reemplaza lo siguiente:

  • PROJECT_ID: El ID del proyecto de Google Cloud en el que deseas ejecutar el trabajo de Dataflow.
  • JOB_NAME: Es el nombre del trabajo que elijas
  • VERSION: Es la versión de la plantilla que deseas usar.

    Puedes usar los siguientes valores:

    • latest para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/
    • el nombre de la versión, como 2023-09-12-00_RC00, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
  • LOCATION: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo, us-central1
  • INSTANCE_ID: Es el ID de la instancia de Spanner que contiene la base de datos.
  • DATABASE_ID: Es el ID de la base de datos de Spanner a la cual importar.
  • GCS_DIRECTORY: Es la ruta de Cloud Storage desde la que se importan los archivos Avro, por ejemplo, gs://mybucket/somefolder.

¿Qué sigue?