En esta página, se explican los tipos de complementos que se instalan de forma predeterminada cuando creas una instancia de Cloud Data Fusion. Estos complementos están disponibles el espacio de nombres predeterminado en tu instancia y cualquier espacio de nombres nuevo que crees. Tú Puedes descargar complementos adicionales desde Hub.
Los complementos tienen las siguientes categorías en Cloud Data Fusion. Aparecen en En el panel izquierdo de la página de Studio de Cloud Data Fusion.
Fuente
Los complementos de origen se conectan a bases de datos, archivos o transmisiones en tiempo real en las que tu cuando una canalización lee los datos. Las fuentes de una canalización de datos se configuran con la Web de servicio, por lo que no tienes que usar código para configurar conexiones de bajo nivel.
Transformar
Los complementos de transformación cambian los datos después de que se cargan desde una fuente. Por ejemplo, puedes usar estos complementos para clonar un registro, cambiar el formato de archivo a JSON o crear una transformación personalizada con JavaScript.
Analytics
Los complementos de Analytics realizan agregaciones, como unir datos de diferentes fuentes y ejecutar operaciones de estadísticas y de aprendizaje automático.
Receptor
Los complementos de sink escriben datos en recursos, como Cloud Storage, BigQuery, Spanner, bases de datos relacionales, sistemas de archivos y unidades centrales. Puedes consultar los datos que se escriben en el destino con la interfaz web de Cloud Data Fusion o la API de REST.
Condiciones y acciones
Los complementos de condición y acción programan acciones que tienen lugar durante un flujo de trabajo. pero no manipulan directamente los datos en el flujo de trabajo.
Casos prácticos de ejemplo:
- Programa un comando de base de datos para que se ejecute al final de tu canalización. Para ello, agrega el Es un complemento de acción de base de datos para tu canalización.
- Activa una acción que mueva archivos dentro de Cloud Storage agregando El complemento de transferencia de archivos a tu canalización.
Controladores de errores y alertas
Cuando las etapas de la canalización encuentran valores nulos, errores lógicos, etcétera errores, los complementos del controlador de errores los detectan. Usa estos complementos para encontrar errores en la salida después de un complemento de transformación o estadísticas en tu canalización. Puedes escribir los errores a una base de datos para su análisis.