En esta página se explican los tipos de complementos que se instalan de forma predeterminada al crear una instancia de Cloud Data Fusion. Estos complementos están disponibles en el espacio de nombres predeterminado de tu instancia y en cualquier espacio de nombres nuevo que crees. Puedes descargar complementos adicionales desde Hub.
Los complementos tienen las siguientes categorías en Cloud Data Fusion. Aparecen en el panel de la izquierda de la página Studio de Cloud Data Fusion.
Fuente
Los complementos de origen se conectan a bases de datos, archivos o flujos en tiempo real en los que tu pipeline lee datos. Las fuentes de una canalización de datos se configuran mediante la interfaz web, por lo que no es necesario usar código para configurar conexiones de nivel inferior.
Transformar
Los complementos de transformación cambian los datos después de que se hayan cargado desde una fuente. Por ejemplo, puedes usar estos complementos para clonar un registro, cambiar el formato de archivo a JSON o crear una transformación personalizada con JavaScript.
Analytics
Los complementos de analíticas realizan agregaciones, como la unión de datos de distintas fuentes y la ejecución de analíticas y operaciones de aprendizaje automático.
Fregadero
Los complementos de sumidero escriben datos en recursos, como Cloud Storage, BigQuery, Spanner, bases de datos relacionales, sistemas de archivos y mainframes. Puedes consultar los datos que se escriben en el receptor mediante la interfaz web o la API REST de Cloud Data Fusion.
Condiciones y acciones
Los complementos de condiciones y acciones programan acciones que se llevan a cabo durante un flujo de trabajo, pero sin manipular directamente los datos de ese flujo.
Ejemplos de casos prácticos:
- Programa la ejecución de un comando de base de datos al final de tu flujo de procesamiento añadiendo el complemento de acción de base de datos al flujo.
- Activa una acción que mueva archivos dentro de Cloud Storage añadiendo el complemento File Move a tu flujo de trabajo.
Controladores de errores y alertas
Cuando las fases de la canalización detectan valores nulos, errores lógicos u otros errores, los complementos de controlador de errores los detectan. Usa estos complementos para encontrar errores en la salida después de un complemento de transformación o analíticas en tu canalización. Puedes escribir los errores en una base de datos para analizarlos.