En esta página, se explican los tipos de complementos que se instalan de forma predeterminada cuando creas una instancia de Cloud Data Fusion. Estos complementos están disponibles en el espacio de nombres predeterminado de tu instancia y en cualquier espacio de nombres nuevo que crees. Puedes descargar complementos adicionales desde Hub.
Los complementos tienen las siguientes categorías en Cloud Data Fusion. Aparecen en el panel izquierdo en la página de Studio de Cloud Data Fusion.
Origen
Los complementos de origen se conectan a bases de datos, transmisiones en tiempo real o archivos en los que la canalización lee datos. Las fuentes de una canalización de datos se configuran mediante la interfaz web, por lo que no tienes que usar código para configurar las conexiones de bajo nivel.
Transformación
Los complementos de transformación cambian los datos después de que se cargan desde una fuente. Por ejemplo, puedes usar estos complementos para clonar un registro, cambiar el formato de archivo a JSON o crear una transformación personalizada con JavaScript.
Análisis
Los complementos de Analytics realizan agregaciones, como unir datos de diferentes fuentes y ejecutar operaciones de estadísticas y aprendizaje automático.
Receptor
Los complementos de receptor escriben datos en recursos, como Cloud Storage, BigQuery, Spanner, bases de datos relacionales, sistemas de archivos y unidades centrales. Puedes consultar los datos que se escriben en el receptor mediante la interfaz web de Cloud Data Fusion o la API de REST.
Condiciones y acciones
Los complementos de condición y acción programan acciones que se llevan a cabo durante un flujo de trabajo, pero no manipulan directamente los datos en este.
Casos prácticos de ejemplo:
- Programa un comando de base de datos para que se ejecute al final de tu canalización. Para ello, agrega el complemento de acción de Database a tu canalización.
- Activa una acción que mueva archivos dentro de Cloud Storage. Para ello, agrega el complemento File Move a tu canalización.
Controladores de errores y alertas
Cuando las etapas de la canalización encuentran valores nulos, errores lógicos, o bien otros errores, los complementos del controlador de errores los detectan. Usa estos complementos para encontrar errores en el resultado después de un complemento de transformación o estadísticas en la canalización. Puedes escribir los errores en una base de datos para su análisis.