Complementos de Cloud Data Fusion

Un complemento es un módulo personalizable que se puede usar para extender las capacidades de Cloud Data Fusion. Los complementos se clasifican en varios tipos: fuentes, transformaciones, estadísticas, acciones, receptores, controladores de errores, publicadores de alertas y condiciones. La siguiente tabla de referencia es una lista completa de los complementos disponibles en Cloud Data Fusion. Si el complemento que necesitas no existe, puedes compilarlo mediante las API de complementos de Cloud Data Fusion.

En esta tabla, se describen los distintos tipos de complementos disponibles en Cloud Data Fusion.

Tipo Descripción
Fuente Las fuentes son conectores a las bases de datos, transmisiones en tiempo real o archivos desde los cuales se obtienen los datos. Te permiten transferir datos mediante una IU simple para que no tengas que preocuparte por la codificación de conexiones de bajo nivel.
Transformaciones Las transformaciones te permiten manipular los datos luego de transferirlos. Por ejemplo, puedes clonar un registro. Puedes formatear archivos JSON. Incluso puedes escribir transformaciones personalizadas mediante el complemento de JavaScript.
Estadísticas Los complementos de estadísticas se usan para realizar agregaciones, como la agrupación y la unión de datos de distintas fuentes, además de ejecutar operaciones de estadísticas y de aprendizaje automático. Data Fusion proporciona complementos incorporados para muchos de esos tipos de casos de uso.
Acciones Los complementos de acciones definen una acción personalizada que está programada para llevarse a cabo durante un flujo de trabajo, pero no manipula los datos que hay allí directamente. Por ejemplo, con la acción personalizada de base de datos, puedes ejecutar un comando de base de datos arbitrario al final de la canalización. Como alternativa, puedes activar una acción para mover de archivos dentro de Cloud Storage.
Receptores Los datos deben escribirse en un receptor. Cloud Data Fusion contiene varios receptores, entre ellos Cloud Storage, BigQuery, Cloud Spanner, bases de datos relacionales, sistemas de archivos y unidades centrales.
Controladores de errores Cuando los nodos se topan con valores nulos, errores lógicos y otras fuentes de errores, puedes usar un complemento de controlador de errores para detectarlos. Puedes conectar este complemento al resultado de cualquier complemento de transformación o estadísticas, lo que te permite detectar errores. Luego, puedes procesar estos errores en un flujo de procesamiento de errores distinto en tu canalización.
Publicadores de alertas Los publicadores de alertas son otro tipo de complemento que te permiten publicar notificaciones cuando ocurren eventos poco comunes. Luego, los procesos posteriores se pueden suscribir a estas notificaciones para activar el procesamiento personalizado de estas alertas.
Condiciones Las canalizaciones también ofrecen complementos del flujo de control, llamados condiciones. Los complementos de condiciones te permiten dividir tu canalización en dos rutas separadas, según sea verdadero o falso el predicado de condición especificado.