Cuando creas una canalización de datos en Cloud Data Fusion, usas una serie de etapas, conocidas como nodos, para mover y administrar los datos a medida que fluyen de la fuente al destino. Cada nodo consta de un complemento, un módulo personalizable que extiende las capacidades de Cloud Data Fusion.
Para encontrar los complementos en la interfaz web de Cloud Data Fusion, ve a la página Studio. Para obtener más complementos, haz clic en Hub.
Tipos de complementos
Los complementos se clasifican en las siguientes categorías:
- Fuentes
- Transformaciones
- Analytics
- Receptores
- Condiciones y acciones
- Controladores de errores y alertas
Fuentes
Los complementos de origen se conectan a bases de datos, archivos o transmisiones en tiempo real desde los que tu canalización lee datos. Configuras las fuentes de tu canalización de datos con la interfaz web para que no tengas que preocuparte por codificar conexiones de bajo nivel.
Transformaciones
Los complementos de transformación cambian los datos después de que se transfieren desde una fuente. Por ejemplo, puedes clonar un registro, cambiar el formato de archivo a JSON o usar el complemento de JavaScript para crear una transformación personalizada.
Analytics
Los complementos de Analytics realizan agregaciones, como unir datos de diferentes fuentes y ejecutar operaciones de estadísticas y de aprendizaje automático.
Receptores
Los complementos de destino escriben datos en recursos, como Cloud Storage, BigQuery, Spanner, bases de datos relacionales, sistemas de archivos y unidades centrales. Puedes consultar los datos que se escriben en el destino con la interfaz web de Cloud Data Fusion o la API de REST.
Condiciones y acciones
Usa complementos de condiciones y acciones para programar acciones que se llevan a cabo durante un flujo de trabajo que no manipulan directamente los datos en este. Por ejemplo:
- Usa el complemento Database para programar un comando de base de datos que se ejecute al final de la canalización.
- Usa el complemento File Move para activar una acción que mueva archivos dentro de Cloud Storage.
Controladores de errores y alertas
Cuando las etapas se topan con valores nulos, errores lógicos y otras fuentes de errores, puedes usar un complemento de controlador de errores para detectarlos. Usa estos complementos para encontrar errores en el resultado después de un complemento de transformación o estadísticas. Puedes escribir los errores en una base de datos para su análisis.
¿Qué sigue?
- Explora los complementos.
- Crea una canalización de datos con los complementos.