Tipos de complementos

En esta página, se explican los tipos de complementos que se instalan de forma predeterminada cuando creas una instancia de Cloud Data Fusion. Estos complementos están disponibles en el espacio de nombres predeterminado de tu instancia y en cualquier espacio de nombres nuevo que crees. Puedes descargar complementos adicionales desde Hub.

Los complementos tienen las siguientes categorías en Cloud Data Fusion. Aparecen en el panel izquierdo de la página Studio de Cloud Data Fusion.

Fuente

Los complementos de origen se conectan a bases de datos, archivos o transmisiones en tiempo real en las que tu canalización lee datos. Configuras las fuentes de una canalización de datos con la interfaz web, por lo que no tienes que usar código para configurar conexiones de bajo nivel.

Transformar

Los complementos de transformación cambian los datos después de que se cargan desde una fuente. Por ejemplo, puedes usar estos complementos para clonar un registro, cambiar el formato de archivo a JSON o crear una transformación personalizada con JavaScript.

Analytics

Los complementos de Analytics realizan agregaciones, como unir datos de diferentes fuentes y ejecutar operaciones de estadísticas y de aprendizaje automático.

Receptor

Los complementos de sink escriben datos en recursos, como Cloud Storage, BigQuery, Spanner, bases de datos relacionales, sistemas de archivos y unidades centrales. Puedes consultar los datos que se escriben en el destino con la interfaz web de Cloud Data Fusion o la API de REST.

Condiciones y acciones

Los complementos de condiciones y acciones programan acciones que se llevan a cabo durante un flujo de trabajo, pero no manipulan directamente los datos en este.

Casos prácticos de ejemplo:

  • Agrega el plugin de acción de base de datos a tu canalización para programar un comando de base de datos que se ejecute al final de la canalización.
  • Agrega el plugin de File Move a tu canalización para activar una acción que mueva archivos dentro de Cloud Storage.

Controladores de errores y alertas

Cuando las etapas de la canalización encuentran valores nulos, errores lógicos y otros errores, los complementos del controlador de errores los detectan. Usa estos complementos para encontrar errores en el resultado después de un complemento de transformación o estadísticas en tu canalización. Puedes escribir los errores en una base de datos para analizarlos.

¿Qué sigue?