Plantilla de Google Cloud a Neo4j

La plantilla de Google Cloud a Neo4j te permite importar un conjunto de datos a una base de datos de Neo4j a través de un trabajo de Dataflow, que obtiene datos de archivos CSV alojados en buckets de Cloud Storage. También te permite manipular y transformar los datos en varios pasos de la importación. Puedes usar la plantilla para las importaciones iniciales y, también, incrementales.

Requisitos de la canalización

  • Una instancia de Neo4j en ejecución
  • Un bucket de Cloud Storage
  • Un conjunto de datos para importar, en forma de archivos CSV
  • Un archivo de especificación de trabajo para usar

Crea un archivo de especificación de trabajo

El archivo de especificación de trabajo consta de un objeto JSON con las siguientes secciones:

  • config: marcas globales que afectan la forma en que se realiza la importación.
  • sources: definiciones de la fuente de datos (relacional).
  • targets: definiciones de destinos de datos (gráfico: nodos/relaciones).
  • actions: acciones previas y posteriores a la carga.

Para obtener más información, consulta Crea un archivo de especificación de trabajo en la documentación de Neo4j.

Parámetros de la plantilla

Parámetros obligatorios

  • jobSpecUri: la ruta al archivo de especificación de trabajo, que contiene la configuración para los metadatos de origen y de destino.

Parámetros opcionales

  • neo4jConnectionUri: la ruta de acceso al archivo JSON de metadatos de conexión de Neo4j.
  • neo4jConnectionSecretId: el ID del Secret para los metadatos de conexión de Neo4j. Esta es una alternativa a la opción de ruta de GCS.
  • optionsJson: opciones JSON. Usa tokens de entorno de ejecución. (Ejemplo: {token1:value1,token2:value2}). La configuración predeterminada es vacía.
  • readQuery: anula la consulta en SQL. La configuración predeterminada es vacía.
  • inputFilePattern: anula el patrón del archivo de texto (ejemplo: gs://your-bucket/path/*.json). La configuración predeterminada es vacía.
  • disabledAlgorithms: Algoritmos separados por comas que se deben inhabilitar. Si este valor se establece como ninguno, no se inhabilita ningún algoritmo. Ten cuidado con este parámetro, ya que los algoritmos inhabilitados de forma predeterminada podrían tener vulnerabilidades o problemas de rendimiento. (Ejemplo: SSLv3, RC4).
  • extraFilesToStage: Rutas de Cloud Storage separadas por comas o Secrets de Secret Manager para los archivos que se deben almacenar en etapa intermedia en el trabajador. Estos archivos se guardan en el directorio /extra_files en cada trabajador. (Ejemplo: gs://
  • defaultLogLevel: configura el nivel de registro en los trabajadores. Las opciones admitidas son OFF, ERROR, WARN, INFO, DEBUG, TRACE. La configuración predeterminada es INFO.

Ejecuta la plantilla

Console

  1. Ve a la página Crear un trabajo a partir de una plantilla de Dataflow.
    2. Ir a Crear un trabajo a partir de una plantilla
  2. En el campo Nombre del trabajo, ingresa un nombre de trabajo único.
  3. Opcional: Para Extremo regional, selecciona un valor del menú desplegable. La región predeterminada es us-central1.

    Para obtener una lista de regiones en las que puedes ejecutar un trabajo de Dataflow, consulta Ubicaciones de Dataflow.

  4. En el menú desplegable Plantilla de Dataflow, selecciona the Google Cloud to Neo4j template.
  5. En los campos de parámetros proporcionados, ingresa los valores de tus parámetros.
  6. Haga clic en Ejecutar trabajo.

gcloud

En tu shell o terminal, ejecuta la plantilla:

gcloud dataflow flex-template run JOB_NAME \
    --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/Google_Cloud_to_Neo4j \
    --project=PROJECT_ID \
    --region=REGION_NAME \
    --parameters \
       jobSpecUri=JOB_SPEC_URI,\
       neo4jConnectionUri=NEO4J_CONNECTION_URI,\

Reemplaza lo siguiente:

  • JOB_NAME: Es el nombre del trabajo que elijas
  • VERSION: Es la versión de la plantilla que deseas usar.

    Puedes usar los siguientes valores:

    • latest para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/
    • el nombre de la versión, como 2023-09-12-00_RC00, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
  • REGION_NAME: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo, us-central1
  • JOB_SPEC_URI: la ruta de acceso al archivo de especificación del trabajo
  • NEO4J_CONNECTION_URI: la ruta de acceso a los metadatos de conexión de Neo4j.

API

Para ejecutar la plantilla con la API de REST, envía una solicitud POST HTTP. Para obtener más información de la API y sus permisos de autorización, consulta projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
{
   "launchParameter": {
     "jobName": "JOB_NAME",
     "parameters": {
       "jobSpecUri": "JOB_SPEC_URI",
       "neo4jConnectionUri": "NEO4J_CONNECTION_URI",
     },
     "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/Google_Cloud_to_Neo4j",
     "environment": { "maxWorkers": "10" }
  }
}

Reemplaza lo siguiente:

  • PROJECT_ID: El ID del proyecto de Google Cloud en el que deseas ejecutar el trabajo de Dataflow.
  • JOB_NAME: Es el nombre del trabajo que elijas
  • VERSION: Es la versión de la plantilla que deseas usar.

    Puedes usar los siguientes valores:

    • latest para usar la última versión de la plantilla, que está disponible en la carpeta superior non-dated en el bucket gs://dataflow-templates-REGION_NAME/latest/
    • el nombre de la versión, como 2023-09-12-00_RC00, para usar una versión específica de la plantilla, que se puede encontrar anidada en la carpeta superior con fecha correspondiente en el bucket gs://dataflow-templates-REGION_NAME/
  • LOCATION: La región en la que deseas implementar tu trabajo de Dataflow, por ejemplo, us-central1
  • JOB_SPEC_URI: la ruta de acceso al archivo de especificación del trabajo
  • NEO4J_CONNECTION_URI: la ruta de acceso a los metadatos de conexión de Neo4j.

¿Qué sigue?