La tarea Dataflow - Create Job te permite crear un trabajo en Cloud Dataflow para ejecutar una canalización de datos compilada con uno de los SDK de Apache Beam.
Cloud Dataflow es un servicio de Google Cloud completamente administrado para ejecutar canalizaciones de procesamiento de datos por lotes y transmisiones.
Antes de comenzar
Asegúrate de realizar las siguientes tareas en tu proyecto de Google Cloud antes de configurar la tarea Dataflow - Create Job:
- Habilita la API de Dataflow (
dataflow.googleapis.com). - Crea un perfil de autenticación. La integración de Apigee usa el perfil de autenticación a fin de conectarse a un extremo de autenticación para tarea Dataflow - Create Job.
Para obtener información sobre cómo otorgar roles o permisos adicionales a una cuenta de servicio, consulta Cómo otorgar, cambiar y revocar el acceso a los recursos.
Configura la tarea Dataflow - Create Job
- En la IU de Apigee, selecciona tu organización de Apigee.
- Haz clic en Desarrollar > Integraciones.
- Selecciona una integración existente o crea una nueva haciendo clic en Crear integración.
Si creas una integración nueva, haz lo siguiente:
- Ingresa un nombre y una descripción en el diálogo Crear integración.
- En la lista de regiones compatibles, selecciona Región para la integración.
- Haz clic en Crear.
Esto abrirá la integración en la página del diseñador de integración.
- En la barra de navegación Diseñador de integración, haz clic en +Agregar una tarea o un activador > Tareas para ver la lista de tareas disponibles.
- Haz clic y coloca el elemento Dataflow - Create Job en el diseñador de integración.
- Haz clic en el elemento Dataflow - Create Job en el diseñador para ver el panel de configuración de la tarea Dataflow - Create Job.
- Ve a Autenticación y selecciona un perfil de autenticación existente que desees usar.
Opcional. Si no creaste un perfil de autenticación antes de configurar la tarea, haz clic en + Nuevo perfil de autenticación y sigue los pasos que se mencionan en Crea un perfil de autenticación nuevo.
- Ve a Entrada de tarea y configura los campos de entrada que se muestran con la siguiente tabla de parámetros de entrada de la tarea.
Los cambios en los campos de entrada se guardan de forma automática.
Parámetros de entrada de la tarea
En la siguiente tabla, se describen los parámetros de entrada de la tarea Dataflow - Create Job:
| Propiedad | Tipo de datos | Descripción |
|---|---|---|
| Región | String | Ubicación de Cloud Dataflow para el trabajo. |
| ProjectsId | String | Tu ID del proyecto de Google Cloud. |
| Ubicación | String | El extremo regional que contiene este trabajo. |
| Solicitud | JSON | Consulta la estructura de JSON de solicitud. |
Resultado de la tarea
La tarea Dataflow - Create Job muestra la instancia de trabajo recién creada.
Estrategia de manejo de errores
Una estrategia de manejo de errores de una tarea específica la acción que se debe realizar si la tarea falla debido a un error temporal. Para obtener información sobre cómo usar una estrategia de manejo de errores y conocer los diferentes tipos de estrategias de manejo de errores, consulta Estrategias de manejo de errores.
¿Qué sigue?
- Agrega perímetros y condiciones perimetrales.
- Prueba y publica tu integración.
- Configura un activador.
- Agrega una tarea de asignación de datos.
- Consulta todas las tareas para los servicios de Google Cloud.