Organiza tus páginas con colecciones
Guarda y categoriza el contenido según tus preferencias.
Cloud Data Fusion es un servicio de integración de datos empresariales nativo de la nube y completamente administrado para compilar y administrar canalizaciones de datos con rapidez. La interfaz web de Cloud Data Fusion te permite compilar soluciones de integración de datos escalables. Te permite conectarte a varias fuentes de datos, transformar los datos y, luego, transferirlos a varios sistemas de destino, sin tener que administrar la infraestructura.
Cloud Data Fusion se basa en el proyecto de código abierto CDAP.
Comienza a usar Cloud Data Fusion
Puedes comenzar a explorar Cloud Data Fusion en minutos.
Los componentes principales de Cloud Data Fusion se explican en las siguientes secciones.
Proyecto de inquilino
El conjunto de servicios necesarios para compilar y organizar las canalizaciones de Cloud Data Fusion y almacenar los metadatos de las canalizaciones se aprovisionan en un proyecto de usuario, dentro de una unidad de usuario. Se crea un proyecto de usuario separado para cada proyecto de cliente, en el que se aprovisionan las instancias de Cloud Data Fusion. El proyecto de usuario hereda toda la configuración de red y firewall del proyecto del cliente.
Cloud Data Fusion: consola
La consola de Cloud Data Fusion, también conocida como plano de control, es un conjunto de operaciones de API y una interfaz web que se ocupa de la instancia de Cloud Data Fusion en sí, por ejemplo, crearla, borrarla, reiniciarla y actualizarla.
Cloud Data Fusion: Studio
Cloud Data Fusion Studio, también conocido como el plano de datos, es un conjunto de operaciones de interfaz web y API de REST que se ocupan de la creación, ejecución y administración de canalizaciones y artefactos relacionados.
Conceptos
En esta sección, se presentan algunos de los conceptos principales de Cloud Data Fusion.
Concepto
Descripción
Instancias de Cloud Data Fusion
Una instancia de Cloud Data Fusion es una implementación única de
Cloud Data Fusion. Para comenzar a usar Cloud Data Fusion, crea una instancia de Cloud Data Fusion a través de la consola de Google Cloud.
Puedes crear varias instancias en un solo proyecto de la consola de Google Cloud
y especificar la región de Google Cloud en la que se crearán las
instancias de Cloud Data Fusion.
Cada instancia de Cloud Data Fusion contiene una implementación independiente y única de Cloud Data Fusion que contiene un conjunto de servicios que controlan la administración del ciclo de vida de las canalizaciones, la organización, la coordinación y la administración de metadatos. Estos servicios se ejecutan con recursos de larga duración en un proyecto de usuario.
Espacio de nombres
Un espacio de nombres es una agrupación lógica de aplicaciones, datos y metadatos asociados en una instancia de Cloud Data Fusion. Los espacios de nombres son como una partición de la instancia. En una sola instancia, un espacio de nombres almacena los datos y metadatos de una entidad independientemente de otro espacio de nombres.
Canalización
Una canalización es una forma de diseñar visualmente los datos y controlar los flujos para extraer, transformar, combinar, agregar y cargar datos de varias fuentes de datos locales y en la nube.
Las canalizaciones de compilación te permiten crear flujos de trabajo de procesamiento de datos complejos que pueden ayudarte a resolver problemas de transferencia, integración y migración de datos. Puedes usar Cloud Data Fusion para compilar canalizaciones por lotes y en tiempo real, según tus necesidades.
Las canalizaciones te permiten expresar tus flujos de trabajo de procesamiento de datos mediante el flujo lógico de datos, mientras que Cloud Data Fusion maneja todas las funciones necesarias para ejecutarse de forma física en un entorno de ejecución.
Nodo de canalización
En la página Studio de la interfaz web de Cloud Data Fusion, las canalizaciones se representan como una serie de nodos organizados en un grafo acíclico dirigido (DAG), que forma un flujo unidireccional.
Los nodos representan las diversas acciones que puedes realizar con tus canalizaciones, como leer desde las fuentes, realizar transformaciones de datos y escribir resultados en receptores. Puedes desarrollar canalizaciones de datos en la interfaz web de Cloud Data Fusion si conectas fuentes, transformaciones, receptores y otros nodos.
Complementos
Un complemento es un módulo personalizable que se puede usar para extender las capacidades de Cloud Data Fusion.
Cloud Data Fusion proporciona complementos para fuentes, transformaciones,
agregados, receptores, recopiladores de errores, publicadores de alertas, acciones y
acciones posteriores a la ejecución.
A veces, un complemento se denomina nodo, por lo general, en el contexto de la interfaz web de Cloud Data Fusion.
En la interfaz web de Cloud Data Fusion, haz clic en Hub para explorar complementos, canalizaciones de muestra y otras integraciones. Cuando se lanza una versión nueva de un complemento, esta se puede ver en el Hub en cualquier instancia que sea compatible. Esto se aplica incluso si la instancia se creó antes de que se lanzara el complemento.
Vista previa de la canalización
Cloud Data Fusion Studio te permite probar la precisión del diseño de la canalización con una vista previa en el subconjunto de datos.
Una canalización en vista previa se ejecuta en el proyecto de usuario.
Ejecución de la canalización
Cloud Data Fusion crea entornos de ejecución efímeros para ejecutar canalizaciones.
Cloud Data Fusion admite Dataproc como
un entorno de ejecución.
Cloud Data Fusion aprovisiona un clúster de Dataproc
efímero en tu proyecto de cliente al
comienzo de la ejecución de una canalización, la ejecuta con Spark en el
clúster y, luego, borra el clúster después de que se completa la ejecución de la canalización.
Como alternativa, si administras tus clústeres de Dataproc
en entornos controlados a través de tecnologías como Terraform, también
puedes configurar Cloud Data Fusion para que no aprovisione clústeres. En
esos entornos, puedes ejecutar canalizaciones en clústeres existentes
de Dataproc.
Compute profiles
Un perfil de procesamiento especifica cómo y dónde se ejecuta una canalización. Un perfil encapsula cualquier información necesaria para configurar y
borrar el entorno de ejecución físico de una canalización.
Por ejemplo, un perfil de procesamiento incluye lo siguiente:
Aprovisionador de ejecución
Recursos (memoria y CPU)
Recuento mínimo y máximo de nodos
Otros valores
Un perfil se identifica por su nombre y se le debe asignar un aprovisionador
y su configuración relacionada. Un perfil puede existir a nivel de
la instancia de Cloud Data Fusion o a nivel del espacio de nombres.
El perfil de procesamiento predeterminado de Cloud Data Fusion es
el ajuste de escala automático.
Canalizaciones reutilizables
Las canalizaciones de datos reutilizables en Cloud Data Fusion permiten crear
una sola canalización que puede aplicar un patrón de integración de datos a
una variedad de casos de uso y conjuntos de datos.
Las canalizaciones reutilizables ofrecen una mejor administración, ya que establecen la mayor parte de la configuración de una canalización en el momento de la ejecución, en lugar de codificarla de forma fija en el momento del diseño.
Activadores
Cloud Data Fusion admite la creación de un activador en una canalización de datos (llamada canalización descendente), para que se ejecute cuando se completen una o más canalizaciones diferentes (llamadas canalizaciones ascendentes). Tú eliges cuándo se ejecuta la canalización descendente, por ejemplo, tras el éxito, la falla, la detención o cualquier combinación de estas de la ejecución de la canalización ascendente.
Los activadores son útiles en los siguientes casos:
Limpia los datos una vez y, luego, ponlos a disposición de varias canalizaciones descendentes para el consumo.
Compartir información, como argumentos del entorno de ejecución y configuraciones de complementos, entre canalizaciones Esto se denomina configuración de la carga útil.
Tener un conjunto de canalizaciones dinámicas que se puedan ejecutar con los datos de hora, día, semana o mes, en lugar de usar una canalización estática que debe actualizarse en cada ejecución
Recursos de Cloud Data Fusion
Explora los recursos de Cloud Data Fusion:
Las notas de la versión proporcionan registros de cambios de las funciones, los cambios y las bajas.
