Servidor de historial persistente de Dataproc

Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.

Descripción general

El servidor de historial persistente (PHS) de Dataproc proporciona interfaces web para ver el historial de los trabajos que se ejecutan en clústeres de Dataproc activos o borrados. Está disponible en Dataproc imagen 1.5 y versiones posteriores y se ejecuta en un clúster de Dataproc con un solo nodo. Proporciona interfaces web a los siguientes archivos y datos:

  • Archivos de historial de trabajos de MapReduce y Spark

  • Archivos de datos de cronogramas de aplicaciones que crea YARN Timeline Service v2 y almacenados en una instancia de Bigtable

  • Registros de agregación de YARN

El servidor de historial persistente accede a los archivos de historial de trabajos de Spark y MapReduce, y los archivos de registro YARN escritos en Cloud Storage durante la vida útil de los clústeres de trabajo de Dataproc, y los muestra.

Crea un clúster de PHS

Puedes ejecutar el siguiente comando de gcloud dataproc clusters create en una terminal local o en Cloud Shell con las siguientes marcas y propiedades de clúster para crear un clúster de nodo único de Server History Server de Dataproc.

Notas:

  • Kerberos y la autenticación personal no son compatibles con el servidor de historial persistente.

  • La versión principal de la imagen del clúster de PHS y la versión principal de la imagen del clúster de trabajo deben coincidir. Si no coinciden, por ejemplo, si un clúster de PHS de imagen 2.0 se usa con un clúster de trabajo de imagen 1.5, pueden ocurrir problemas no compatibles.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --single-node \
    --enable-component-gateway \
    --properties=properties

Notas:

  • --enable-component-gateway: Se requiere para habilitar las interfaces web de la puerta de enlace de componentes en el clúster de PHS.

  • Agrega una o más de las siguientes propiedades de clúster para habilitar la persistencia y la visualización del historial de trabajos y otros registros mediante el servidor de historial persistente.

    Ejemplo:

    --properties=spark:spark.history.fs.logDirectory=gs://bucket-name/*/spark-job-history 
    
--properties=mapred:mapreduce.jobhistory.read-only.dir-pattern=gs://bucket-name/*/mapreduce-job-history/done

    • yarn:yarn.nodemanager.remote-app-log-dir=gs://bucket-name/*/yarn-logs: Agrega esta propiedad para especificar la ubicación de Cloud Storage en la que la PHS accederá a los registros de YARN escritos por los clústeres de trabajos (consulta Crea clústeres de trabajos). El valor que se muestra usa un carácter comodín "*" para permitir que la PHS coincida con varios directorios del bucket especificado escritos por diferentes clústeres de trabajo (pero consulta las consideraciones de eficiencia de los comodines).
    • spark:spark.history.fs.logDirectory=gs://bucket-name/*/spark-job-history: Agrega esta propiedad para habilitar el historial de trabajos persistentes de Spark. Esta propiedad especifica la ubicación en la que la PHS accederá a los registros del historial de trabajos de Spark escritos por clústeres de trabajos (consulta Crea un clúster de trabajos). El valor que se muestra usa un carácter comodín "*" para permitir que la PHS coincida con varios directorios del bucket especificado escritos por diferentes clústeres de trabajo (pero consulta las consideraciones de eficiencia de los comodines).

      Nota: En los clústeres de Dataproc 2.0+, las siguientes propiedades también se deben configurar para habilitar los registros del historial de Spark en PHS (consulta Opciones de configuración del servidor de historial de Spark). El valor spark.history.custom.executor.log.url es un valor literal que contiene {{PLACEHOLDERS}} para las variables que establecerá el servidor de historial persistente. Los usuarios no establecen estas variables; pasa el valor de la propiedad como se muestra.

      --properties=spark:spark.history.custom.executor.log.url.applyIncompleteApplication=false
--properties=spark:spark.history.custom.executor.log.url={{YARN_LOG_SERVER_URL}}/{{NM_HOST}}:{{NM_PORT}}/{{CONTAINER_ID}}/{{CONTAINER_ID}}/{{USER}}/{{FILE_NAME}}

    • mapred:mapreduce.jobhistory.read-only.dir-pattern=gs://bucket-name/*/mapreduce-job-history/done: Agrega esta propiedad para habilitar el historial de trabajos persistentes de MapReduce. Esta propiedad especifica la ubicación de Cloud Storage en la que la PHS accederá a los registros del historial de trabajos de MapReduce escritos por clústeres de trabajos (consulta Crea un clúster de trabajos). El valor que se muestra usa un carácter comodín "*" para permitir que la PHS coincida con varios directorios del bucket especificado escritos por diferentes clústeres de trabajo (pero consulta las consideraciones de eficiencia de los comodines).

    • dataproc:yarn.atsv2.bigtable.instance=projects/project-id/instance_id/bigtable-instance-id: Después de configurar el servicio Yarn Timeline v2, agrega esta propiedad para usar el clúster de PHS a fin de ver los datos del cronograma en las interfaces web YARN Application Timeline Service V2 y Tez (consulta Interfaces web de la puerta de enlace de componentes).

Crea un clúster de trabajo de Dataproc

Puedes ejecutar el siguiente comando en una terminal local o en Cloud Shell para crear un clúster de trabajo de Dataproc que escriba los archivos del historial de trabajos en un servidor de historial persistente (PHS).

gcloud dataproc clusters create cluster-name \
    --region=region \
    --enable-component-gateway \
    --properties=properties
    other args ...

Notas:

  • --enable-component-gateway: Esta marca es necesaria para habilitar las interfaces web de Component Gateway en el clúster de trabajo.
  • Agrega una o más de las siguientes propiedades de clúster para establecer ubicaciones no predeterminadas de Cloud Storage relacionadas con PHS y otras propiedades de clúster de trabajo.

    Ejemplo:

    --properties=spark:spark.history.fs.logDirectory=gs://bucket-name/job-cluster-1/spark-job-history 
    
--properties=yarn:yarn.nodemanager.remote-app-log-dir=gs://bucket-name/job-cluster-1/yarn-logs
    • yarn:yarn.nodemanager.remote-app-log-dir: De forma predeterminada, los registros YARN agregados están habilitados en los clústeres de trabajo de Dataproc y se escriben en el bucket temporal del clúster. Agrega esta propiedad para especificar una ubicación de Cloud Storage diferente en la que el clúster escribirá registros de agregación a fin de acceder mediante el servidor de historial persistente. 
      yarn:yarn.nodemanager.remote-app-log-dir=gs://bucket-name/directory-name/yarn-logs
    • spark:spark.history.fs.logDirectory y spark:spark.eventLog.dir: De forma predeterminada, los archivos del historial de trabajos de Spark se guardan en el clúster temp bucket, en el directorio /spark-job-history. Puedes agregar estas propiedades a fin de especificar diferentes ubicaciones de Cloud Storage para estos archivos. Si se usan ambas propiedades, deben apuntar a directorios en el mismo bucket. 
      spark:spark.history.fs.logDirectory=gs://bucket-name/directory-name/spark-job-history,
spark:spark.eventLog.dir=gs://bucket-name/directory-name/spark-job-history
    • mapred:mapreduce.jobhistory.done-dir y mapred:mapreduce.jobhistory.intermediate-done-dir: De forma predeterminada, los archivos del historial de trabajos de MapReduce se guardan en el clúster temp bucket en los directorios /mapreduce-job-history/done y /mapreduce-job-history/intermediate-done. La ubicación intermedia mapreduce.jobhistory.intermediate-done-dir es el almacenamiento temporal; los archivos intermedios se mueven a la ubicación mapreduce.jobhistory.done-dir cuando se completa el trabajo de MapReduce. Puedes agregar estas propiedades a fin de especificar diferentes ubicaciones de Cloud Storage para estos archivos. Si se usan ambas propiedades, deben apuntar a directorios en el mismo bucket. 
      mapred:mapreduce.jobhistory.done-dir=gs://bucket-name/directory-name/mapreduce-job-history/done,
mapred:mapreduce.jobhistory.intermediate-done-dir=gs://bucket-name/directory-name/mapreduce-job-history/intermediate-done
    • spark:spark.history.fs.gs.outputstream.type y spark:spark.history.fs.gs.outputstream.sync.min.interval.ms: Agrega estas propiedades del conector de Cloud Storage para cambiar el comportamiento predeterminado de cómo el clúster de trabajo envía datos a Cloud Storage. El spark:spark.history.fs.gs.outputstream.type predeterminado es BASIC, que envía datos a Cloud Storage después de que se completa el trabajo. Puedes cambiar esta configuración a FLUSHABLE_COMPOSITE para cambiar el comportamiento de limpieza y copiar datos en Cloud Storage en intervalos regulares mientras se ejecuta el trabajo. 
      spark:spark.history.fs.gs.outputstream.type=FLUSHABLE_COMPOSITE
      El spark:spark.history.fs.gs.outputstream.sync.min.interval.ms predeterminado, que controla la frecuencia a la que se transfieren los datos a Cloud Storage, es 5000ms y se puede cambiar a un intervalo de tiempo ms diferente: 
      spark:spark.history.fs.gs.outputstream.sync.min.interval.ms=intervalms
      Nota: Para configurar estas propiedades, la versión de la imagen del clúster de trabajos de Dataproc debe usar la versión 2.2.0 o posterior del conector de Cloud Storage. Puedes verificar la versión del conector instalada en las versiones de imágenes desde la página Lista de versiones de imágenes de Dataproc.
    • dataproc:yarn.atsv2.bigtable.instance: Después de configurar Yarn Timeline Service v2, agrega esta propiedad para escribir datos de cronograma de YARN en la instancia de Bigtable especificada a fin de visualizarlos en las interfaces web YARN Application Timeline Service V2 y Tez del clúster de PHS. Nota: La creación del clúster fallará si la instancia de Bigtable no existe. 
      dataproc:yarn.atsv2.bigtable.instance=projects/project-id/instance_id/bigtable-instance-id

Usa PHS con cargas de trabajo por lotes de Spark

Si deseas usar el servidor de historial persistente con Dataproc Serverless para las cargas de trabajo por lotes de Spark, haz lo siguiente:

  1. Crea un clúster de PHS.

  2. Selecciona o especifica el clúster de PHS cuando envíes una carga de trabajo por lotes de Spark.

Usa PHS con Dataproc en Google Kubernetes Engine

Para usar el servidor de historial persistente con Dataproc en GKE, sigue estos pasos:

  1. Crea un clúster de PHS.

  2. Selecciona o especifica el clúster de PHS cuando crees un clúster virtual de Dataproc en GKE.

Interfaces web de la puerta de enlace de componentes

En la consola de Google Cloud, en la página Clústeres de Dataproc, haz clic en el nombre del clúster de PHS para abrir la página Detalles del clúster. En la pestaña Interfaces web, selecciona los vínculos de puerta de enlace de componentes para abrir las interfaces web que se ejecutan en el clúster de PHS.

Interfaz web del servidor de historial de Spark

En la siguiente captura de pantalla, se muestra la interfaz web del servidor de historial de Spark en la que se muestran los vínculos a los trabajos de Spark que se ejecutan en job-cluster-1 y job-cluster-2 después de configurar las ubicaciones spark.history.fs.logDirectory y spark:spark.eventLog.dir y spark.history.fs.logDirectory del clúster de PHS de la siguiente manera:

job-cluster-1 gs://example-cloud-storage-bucket/job-cluster-1/spark-job-history
job-cluster-2 gs://example-cloud-storage-bucket/job-cluster-2/spark-job-history
phs-cluster gs://example-cloud-storage-bucket/*/spark-job-history

Puedes enumerar trabajos por nombre de la aplicación en la interfaz web del servidor de historial de Spark si ingresas el nombre de una aplicación en el cuadro de búsqueda. El nombre de la app se puede configurar de una de las siguientes maneras (en orden de prioridad):

  1. Configurar dentro del código de la aplicación cuando se crea el contexto de Spark
  2. Configurar por la propiedad spark.app.name cuando se envía el trabajo
  3. Configurar por Dataproc para el nombre completo del recurso de REST para el trabajo (projects/project-id/regions/region/jobs/job-id)

Los usuarios pueden ingresar un término de nombre de aplicación o recurso en el cuadro de búsqueda para buscar y enumerar trabajos.

Registros de eventos

La interfaz web del servidor de historial de Spark proporciona un botón de Registro de eventos en el que puedes hacer clic para descargar los registros de eventos de Spark. Estos registros son útiles para examinar el ciclo de vida de la aplicación de Spark.

Trabajos de Spark

Las aplicaciones de Spark se dividen en varios trabajos, que se desglosan en varias etapas. Cada etapa puede tener varias tareas, que se ejecutan en nodos ejecutores (trabajadores).

  • Haz clic en un ID de aplicación de Spark en la interfaz web para abrir la página de trabajos de Spark, que proporciona un cronograma de eventos y un resumen de los trabajos dentro de la aplicación.

  • Haz clic en un trabajo para abrir una página de detalles de trabajo con un grafo acíclico dirigido (DAG) y el resumen de las etapas del trabajo.

  • Haz clic en una etapa o usa la pestaña Etapas para seleccionar una etapa a fin de abrir la página Detalles de la etapa.

    Los detalles de la etapa incluyen una visualización de DAG, un cronograma de eventos y métricas para las tareas dentro de la etapa. Puedes usar esta página para solucionar problemas relacionados con tareas suprimidas, retrasos del programador y errores de memoria insuficiente. El visualizador de DAG muestra la línea de código a partir de la cual se deriva la etapa, lo que te ayuda a hacer un seguimiento de los problemas hasta el código.

  • Haz clic en la pestaña Ejecutores para obtener información sobre el controlador de la aplicación de Spark y los nodos ejecutores.

    La información importante de esta página incluye la cantidad de núcleos y la cantidad de tareas que se ejecutaron en cada ejecutor.

Interfaz web de Tez

Tez es el motor de ejecución predeterminado para Hive y Pig en Dataproc. Cuando se envía un trabajo de Hive en un clúster de trabajo de Dataproc, se inicia una aplicación de Tez (consulta Usa Apache Hive en Dataproc ).

Si configuraste la versión 2 del servicio de cronograma de Yarn y configuraste la propiedad dataproc:yarn.atsv2.bigtable.instance cuando creaste los clústeres de trabajo de PHS y Dataproc, YARN escribe los datos generados del cronograma de trabajos de Hive y Pig en la instancia de Bigtable especificada para recuperar y mostrar en la interfaz web de Tez que se ejecuta en el servidor de PHS.

Interfaz web de la aplicación de Timeline V2 de YARN

Si configuraste el servicio Yarn Timeline v2 y configuraste la propiedad dataproc:yarn.atsv2.bigtable.instance cuando creaste los clústeres de trabajo PHS y Dataproc, YARN escribe datos generados del cronograma del trabajo en la instancia especificada de Bigtable para su recuperación y visualización en la interfaz web del servicio de cronograma de la aplicación YARN que se ejecuta en el servidor PHS. Los trabajos de Dataproc se muestran en la pestaña Actividad de flujo de la interfaz web.

Configura Yarn Timeline Service v2

Para configurar Yarn Timeline Service v2, configura una instancia de Bigtable y, si es necesario, verifica las funciones de la cuenta de servicio de la siguiente manera:

  1. Crear una instancia de Bigtable.

  2. Verifica las funciones de la cuenta de servicio, si es necesario. La cuenta de servicio de VM predeterminada que usan las VM de clúster de Dataproc tiene los permisos necesarios para crear y configurar la instancia de Bigtable para el servicio de cronograma de YARN. Si creas tu trabajo o clúster de PHS con una cuenta de servicio de VM personalizada, la cuenta debe tener la función Administrator o Bigtable User de Bigtable.

Esquema de tabla obligatorio

La asistencia de PHS de Dataproc para el servicio de cronograma de YARN v2 requiere un esquema específico creado en la instancia de Bigtable. Dataproc crea el esquema requerido cuando se crea un clúster de trabajo o PHS con la propiedad dataproc:yarn.atsv2.bigtable.instance establecida para apuntar a la instancia de Bigtable.

A continuación, se muestra el esquema requerido de la instancia de Bigtable:

Tablas Familias de columnas
prod.timelineservice.application c,i,m
prod.timelineservice.app_flow m
prod.timelineservice.entity c,i,m
prod.timelineservice.flowactivity i
prod.timelineservice.flowrun i
prod.timelineservice.subapplication c,i,m

Recolección de elementos no utilizados de Bigtable

Puedes configurar la recolección de elementos no utilizados de Bigtable basada en la edad para tablas ATS v2:

  • Instala cbt, incluida la creación de la .cbrtc file.

  • Crea la política de recolección de elementos no utilizados basada en la antigüedad de ATSv2:

export NUMBER_OF_DAYS = number \
cbt setgcpolicy prod.timelineservice.application c maxage=${NUMBER_OF_DAYS} \
cbt setgcpolicy prod.timelineservice.application i maxage=${NUMBER_OF_DAYS} \
cbt setgcpolicy prod.timelineservice.application m maxage=${NUMBER_OF_DAYS} \
cbt setgcpolicy prod.timelineservice.app_flow m maxage=${NUMBER_OF_DAYS} \
cbt setgcpolicy prod.timelineservice.entity c maxage=${NUMBER_OF_DAYS} \
cbt setgcpolicy prod.timelineservice.entity i maxage=${NUMBER_OF_DAYS} \
cbt setgcpolicy prod.timelineservice.entity m maxage=${NUMBER_OF_DAYS} \
cbt setgcpolicy prod.timelineservice.flowactivity i maxage=${NUMBER_OF_DAYS} \
cbt setgcpolicy prod.timelineservice.flowrun i maxage=${NUMBER_OF_DAYS} \
cbt setgcpolicy prod.timelineservice.subapplication c maxage=${NUMBER_OF_DAYS} \
cbt setgcpolicy prod.timelineservice.subapplication i maxage=${NUMBER_OF_DAYS} \
cbt setgcpolicy prod.timelineservice.subapplication m maxage=${NUMBER_OF_DAYS}

Notas:

NUMBER_OF_DAYS: La cantidad máxima de días es 30d.