Cuando creas una canalización de datos en Cloud Data Fusion, usas una serie de etapas, conocidas como nodos, para mover y administrar los datos mientras fluyen de la fuente al receptor. Cada nodo consta de un complemento, un módulo personalizable que extiende las capacidades de Cloud Data Fusion.
Puedes encontrar los complementos en la interfaz web de Cloud Data Fusion en la página Studio. Para ver más complementos, haz clic en Hub.
Tipos de complementos
Los complementos se clasifican en las siguientes categorías:
- Fuentes
- Transformaciones
- Estadísticas
- Receptores
- Condiciones y acciones
- Alertas y controladores de errores
Fuentes
Los complementos de origen se conectan a bases de datos, archivos o transmisiones en tiempo real desde las que la canalización lee datos. Configuras las fuentes para la canalización de datos mediante la interfaz web, por lo que no tienes que preocuparte por la programación de conexiones de bajo nivel.
Transformaciones
Los complementos de transformación cambian los datos después de que se transfieren desde una fuente. Por ejemplo, puedes clonar un registro, cambiar el formato de archivo a JSON o usar el complemento de JavaScript para crear una transformación personalizada.
Estadísticas
Los complementos de Analytics realizan agregaciones, como unir datos de diferentes fuentes y ejecutar operaciones de estadísticas y de aprendizaje automático.
Receptores
Los complementos de receptores escriben datos en recursos, como Cloud Storage, BigQuery, Spanner, bases de datos relacionales, sistemas de archivos y unidades centrales. Puedes consultar los datos que se escriben en el receptor mediante la interfaz web de Cloud Data Fusion o la API de REST.
Condiciones y acciones
Usa complementos de condición y acción para programar acciones que se lleven a cabo durante un flujo de trabajo que no manipulen directamente los datos en el flujo de trabajo. Por ejemplo:
- Usa el complemento de base de datos para programar que se ejecute un comando de base de datos al final de tu canalización.
- Usa el complemento File Move para activar una acción que mueva archivos dentro de Cloud Storage.
Alertas y controladores de errores
Cuando las etapas encuentran valores nulos, errores lógicos y otras fuentes de errores, puedes usar un complemento de controlador de errores para detectarlos. Úsalos para encontrar errores en el resultado después de un complemento de transformación o estadísticas. Puedes escribir los errores en una base de datos para su análisis.
¿Qué sigue?
- Explora los complementos.
- Crea una canalización de datos con los complementos.