Salida del controlador de trabajos

Puedes enviar, supervisar y controlar trabajos fácilmente en clústeres de Dataproc mediante la herramienta de línea de comandos de gcloud, Google Cloud Console o la API de REST de Cloud Dataproc. Cuando usas uno de estos mecanismos para enviar tu trabajo, Cloud Dataproc recopila automáticamente el resultado del controlador (consola) del trabajo y lo pone a tu disposición. Esto significa que puedes revisar con rapidez el resultado del controlador sin tener que mantener una conexión con el clúster mientras se ejecutan tus trabajos o analizar archivos de registro complicados.

Registros del clúster y del sistema: En esta guía, se describe cómo ver el resultado del controlador o consola para los trabajos, y no se explica cómo ver los registros del sistema y del daemon de un clúster.

Configuración del registro

De forma predeterminada, Cloud Dataproc usa un nivel de registro predeterminado WARN para los programas de controladores. Esta configuración se puede ajustar con la línea de comandos, que te permite enviar un trabajo con la opción --driver-log-levels.

El paquete root especial controla el nivel del registrador raíz. Por ejemplo:

gcloud dataproc jobs submit hadoop ...\
  --driver-log-levels root=FATAL,com.example=INFO

El registro se puede establecer a un nivel más detallado para cada trabajo. Por ejemplo, para ayudar a depurar problemas cuando se leen archivos de Cloud Storage, puedes enviar un trabajo con la opción --driver-log-levels y especificar el nivel de registro DEBUG de la siguiente manera:

gcloud dataproc jobs submit hadoop ...\
  --driver-log-levels com.google.cloud.hadoop.gcsio=DEBUG

Cómo configurar los niveles de registro del ejecutor

Puedes configurar Spark, Hadoop, Flink y otros niveles de registro del ejecutor de componentes de OSS en nodos del clúster con una acción de inicialización del clúster que edita o reemplaza el archivo .../log4j.properties (consulta Apache Log4j 2.

Otra forma de establecer niveles de registro: Puedes configurar niveles de registro en varios componentes de OSS cuando creas un clúster de Dataproc con <component-name>-log4j. propiedades del clúster.

Archivo /etc/spark/conf/log4j.properties de muestra:

# Set everything to be logged to the console.
log4j.rootCategory=INFO, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c: %m%n

# Settings to quiet third party logs.
log4j.logger.org.eclipse.jetty=WARN
log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

# Reduce verbosity for other core classes.
log4j.logger.org.apache.spark=WARN
log4j.logger.org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter=WARN
log4j.logger.org.apache.hadoop.conf.Configuration.deprecation=WARN
log4j.logger.org.spark-project.jetty.server.handler.ContextHandler=WARN

# Spark 2.0 specific output.
log4j.logger.org.spark_project.jetty.server.handler.ContextHandler=WARN.

Accede al resultado del controlador del trabajo

Puedes acceder al resultado del controlador del trabajo de Cloud Dataproc con Cloud Console, la herramienta de línea de comandos de gcloud o Cloud Storage.

Resultado del trabajo de Spark De forma predeterminada, Dataproc ejecuta trabajos de Spark en modo client y transmite el resultado del controlador para su visualización como se explica a continuación. Sin embargo, si el usuario crea el clúster de Dataproc mediante la configuración de las propiedades del clúster como --properties: spark:spark.submit.deployMode=cluster o el trabajo en modo de clúster mediante la configuración del trabajo, propiedades para --properties spark.submit.deployMode=cluster, el resultado del controlador se muestra en los registros de usuario de YARN, a los que se puede acceder en Logging.

Comando de gcloud

Cuando envías un trabajo con el comando gcloud dataproc jobs submit, el resultado del controlador del trabajo se muestra en la consola. Puedes “reunificar” el resultado del controlador más adelante, en una computadora diferente o en una nueva ventana si pasas el ID del trabajo a laLos trabajos de gcloud dataproc esperan comando. El ID de trabajo es un GUID, como 5c1754a5-34f7-4553-b667-8a1199cb9cab. A continuación, se muestra un ejemplo.

gcloud dataproc jobs wait 5c1754a5-34f7-4553-b667-8a1199cb9cab \
    --project my-project-id --region my-cluster-region

Waiting for job output...
... INFO gcs.GoogleHadoopFileSystemBase: GHFS version: 1.4.2-hadoop2
... 16:47:45 INFO client.RMProxy: Connecting to ResourceManager at my-test-cluster-m/
...

Console

Para ver el resultado del controlador del trabajo, ve a la sección Trabajos de Dataproc de tu proyecto y haz clic en ID del trabajo para ver el trabajo. .

Si el trabajo se está ejecutando, el resultado del controlador del trabajo se actualiza de forma periódica con contenido nuevo.

Cloud Storage

El resultado del controlador del trabajo se almacena en Cloud Storage en el depósito de etapa de pruebas o en el depósito que especificaste cuando creaste tu clúster. Se proporciona un vínculo al resultado del controlador de trabajo en Cloud Storage en el campo Job.driverOutputResourceUri que muestran estas opciones:

• Una solicitud a la API de jobs.get
• Un comando gcloud dataproc jobs describe job-id

  $ gcloud dataproc jobs describe spark-pi
  ...
  driverOutputResourceUri: gs://dataproc-nnn/jobs/spark-pi/driveroutput
  ...
  

Retención de datos de Cloud Storage: Para evitar la pérdida de datos, el resultado del controlador y los registros guardados en Cloud Storage permanecen en el almacenamiento después de quitar un clúster. Debes borrar de forma manual el resultado del controlador y los registros de Cloud Storage.