En esta página, se explican la terminología y los conceptos básicos del procesamiento de canalizaciones en Cloud Data Fusion.
El rendimiento de la canalización depende de los siguientes aspectos:
- El tamaño y las características de tus datos
- La estructura de tu canalización
- Tamaño del clúster
- Complementos que utiliza tu canalización de Cloud Data Fusion
Terminología de procesamiento de canalizaciones en Cloud Data Fusion
La siguiente terminología se aplica en el procesamiento de canalizaciones en Cloud Data Fusion.
- Tipo de máquina
- Tipo de máquinas virtuales (VMs) utilizadas (CPU, memoria)
- Clúster
- Un grupo de VMs que trabajan juntas para manejar tareas de procesamiento de datos a gran escala.
- Nodos principales y trabajadores
- Máquinas físicas o virtuales que pueden realizar el procesamiento Los nodos principales suelen coordinar el trabajo. Los nodos trabajadores ejecutan ejecutores que procesan datos. Tienen características de máquina (cantidad de memoria y cantidad de vCore disponibles para los procesos).
- Núcleos virtuales, núcleos o CPU
- Es un recurso que se encarga de la computación. Por lo general, tus nodos proporcionan una cierta cantidad de núcleos y tus ejecutores solicitan una o varias CPU. Equilibra esto junto con la memoria, o es posible que tu clúster no use mucho.
- Driver
- Una VM única que actúa como el coordinador central de todo el clúster. Administra tareas, programa trabajos en todos los nodos trabajadores y supervisa su progreso.
- Ejecutores
- Varias VM que realizan las tareas de procesamiento de datos reales, según las instrucciones del controlador. Tus datos se particionan y se distribuyen entre estos ejecutores para el procesamiento paralelo. Para usar todos los ejecutores, debes tener suficientes divisiones.
- Divisiones o particiones
- Un conjunto de datos se divide en divisiones (otras particiones de nombre) para procesar datos en paralelo. Si no tienes suficientes divisiones, no puedes usar todo el clúster.
Descripción general del ajuste de rendimiento
Las canalizaciones se ejecutan en clústeres de máquinas. Cuando eliges ejecutar canalizaciones de Cloud Data Fusion en clústeres de Dataproc (que es el aprovisionador recomendado), se usa YARN (otro negociador de recursos) en segundo plano. Dataproc usa YARN para administrar recursos dentro del clúster. Cuando envías una canalización de Cloud Data Fusion a un clúster de Dataproc, el trabajo subyacente de Apache Spark aprovecha YARN para asignar recursos y programar tareas.
Un clúster consta de nodos principales y trabajadores. Por lo general, los nodos principales son responsables de coordinar el trabajo, mientras que los nodos trabajadores realizan el trabajo real. Por lo general, los clústeres tendrán una pequeña cantidad de nodos principales (uno o tres) y una gran cantidad de trabajadores. YARN se usa como sistema de coordinación del trabajo. YARN ejecuta un servicio de Resource Manager en el nodo principal y uno de Node Manager en cada nodo trabajador. Los administradores de nodos coordinan entre todos los administradores de nodos para determinar dónde crear y ejecutar los contenedores en el clúster.
En cada nodo trabajador, Node Manager reserva una parte de la memoria de máquina y las CPU disponibles para ejecutar contenedores YARN. Por ejemplo, en un clúster de Dataproc, si tus nodos trabajadores son VMs n1-standard-4 (4 CPU, 15 GB de memoria), cada administrador de nodos reservará 4 CPU y 12 GB de memoria para ejecutar contenedores YARN. Los 3 GB restantes de memoria quedan para los otros servicios de Hadoop que se ejecutan en el nodo.
Cuando una canalización se ejecuta en YARN, inicia un controlador de flujo de trabajo de canalización, un controlador de Spark y muchos ejecutores de Spark en Dataproc.
El controlador del flujo de trabajo es responsable de iniciar uno o más programas de Spark que conforman una canalización. Por lo general, el controlador del flujo de trabajo no realiza mucho trabajo. Cada programa de Spark ejecuta un solo controlador y varios ejecutores de Spark. Las coordenadas del controlador funcionan entre los ejecutores, pero, por lo general, no realizan ningún trabajo real. La mayor parte del trabajo real lo realizan los ejecutores de Spark.
¿Qué sigue?
- Obtén información sobre el procesamiento paralelo en Cloud Data Fusion.