Cuando creas un flujo de datos en Cloud Data Fusion, usas una serie de fases, conocidas como nodos, para mover y gestionar los datos a medida que fluyen de la fuente al receptor. Cada nodo consta de un complemento, un módulo personalizable que amplía las capacidades de Cloud Data Fusion.
Puedes encontrar los complementos en la interfaz web de Cloud Data Fusion. Para ello, ve a la página Studio. Para ver más complementos, haz clic en Centro.
Tipos de complementos
Los complementos se clasifican en las siguientes categorías:
- Fuentes
- Transformaciones
- Analytics
- Sumideros
- Condiciones y acciones
- Controladores de errores y alertas
Fuentes
Los complementos de origen se conectan a bases de datos, archivos o flujos en tiempo real de los que tu pipeline lee datos. Configura las fuentes de tu flujo de procesamiento de datos mediante la interfaz web, por lo que no tienes que preocuparte de programar conexiones de nivel inferior.
Transformaciones
Los complementos de transformación cambian los datos después de que se hayan ingerido de una fuente. Por ejemplo, puedes clonar un registro, cambiar el formato de archivo a JSON o usar el complemento de JavaScript para crear una transformación personalizada.
Analytics
Los complementos de analíticas realizan agregaciones, como la unión de datos de distintas fuentes y la ejecución de analíticas y operaciones de aprendizaje automático.
Sumideros
Los complementos de sumidero escriben datos en recursos, como Cloud Storage, BigQuery, Spanner, bases de datos relacionales, sistemas de archivos y mainframes. Puedes consultar los datos que se escriben en el receptor mediante la interfaz web o la API REST de Cloud Data Fusion.
Condiciones y acciones
Usa complementos de condición y de acción para programar acciones que se lleven a cabo durante un flujo de trabajo sin manipular directamente los datos de ese flujo. Por ejemplo:
- Usa el complemento de base de datos para programar la ejecución de un comando de base de datos al final del flujo de procesamiento.
- Usa el complemento Mover archivo para activar una acción que mueva archivos dentro de Cloud Storage.
Controladores de errores y alertas
Cuando las fases encuentran valores nulos, errores lógicos u otras causas de errores, puedes usar un complemento de controlador de errores para detectarlos. Usa estos complementos para encontrar errores en la salida después de un complemento de transformación o analíticas. Puedes escribir los errores en una base de datos para analizarlos.
Siguientes pasos
- Consulta los complementos.
- Crea un flujo de procesamiento de datos con los complementos.