Puedes supervisar y solucionar problemas de las cargas de trabajo por lotes de Spark de Dataproc Serverless con la información y las herramientas que se analizan en las siguientes secciones.
IU de Spark
La IU de Spark recopila detalles de ejecución de Apache Spark de Dataproc sin servidores para cargas de trabajo por lotes de Spark. No se aplican cargos por la función de IU de Spark, que es habilitado de forma predeterminada.
Se conservan los datos recopilados por la función de IU de Spark 90 días. Puedes usar esta interfaz web para supervisar y depurar cargas de trabajo de Spark sin tener que crear un servidor de historial persistente.
Limitaciones
La IU de Spark no es compatible con las siguientes cargas de trabajo de Dataproc Serverless:
Permisos y roles de Identity and Access Management necesarios
Se requieren los siguientes permisos para usar la función de IU de Spark con de las cargas de trabajo.
Permiso de recopilación de datos:
dataproc.batches.sparkApplicationWrite
. Este permiso se debe otorgar a la cuenta de servicio que ejecuta cargas de trabajo por lotes. Este permiso se incluye en el rolDataproc Worker
, que se otorga automáticamente a la cuenta de servicio predeterminada de Compute Engine que usa Dataproc Serverless de forma predeterminada (consulta Cuenta de servicio de Dataproc Serverless). Sin embargo, si especificas un cuenta de servicio personalizada para tu carga de trabajo por lotes, debes agregar eldataproc.batches.sparkApplicationWrite
permiso a esa cuenta de servicio (por lo general, si otorgas a la cuenta el rolWorker
de Dataproc).Permiso de acceso a la IU de Spark:
dataproc.batches.sparkApplicationRead
. Esta se debe otorgar permiso a un usuario para acceder a la IU de Spark en Consola de Google Cloud Este permiso se incluye en los rolesDataproc Viewer
,Dataproc Editor
yDataproc Administrator
. Para abrir la IU de Spark en la consola de Google Cloud, debes tener uno de estos roles o tener un rol personalizado que incluya este permiso.
Abre la IU de Spark
La página de la IU de Spark está disponible en la consola de Google Cloud para las cargas de trabajo por lotes de Spark.
- Haz clic en un ID de lote para abrir la página de detalles del lote.
- Haz clic en Ver IU de Spark en el menú superior.
¿El vínculo Ver IU de Spark está inhabilitado? Si no se otorga un permiso requerido, si borras la casilla de verificación Habilitar IU de Spark en la página de detalles del lote o si configuras la propiedad Create.dataproc.appContext.enabled
en false
(predeterminada: true
) cuando envías una carga de trabajo por lotes, se inhabilitará el botón Ver IU de Spark.
Servidor de historial persistente
Dataproc Serverless para Spark crea los recursos de procesamiento necesarios a fin de ejecutar una carga de trabajo. ejecuta la carga de trabajo en esos recursos y, luego, borra los recursos cuando esta finaliza. Las métricas y los eventos de la carga de trabajo no persisten después de que se completa. Sin embargo, puedes usar un servidor de historial persistente (PHS) para conservar el historial de la aplicación de la carga de trabajo (registros de eventos) en Cloud Storage.
Para usar un PHS con una carga de trabajo por lotes, haz lo siguiente:
Crea un servidor de historial persistente (PHS) de Dataproc.
Especifica tu PHS cuando envíes una carga de trabajo.
Usa la puerta de enlace de componentes. para conectarse al PHS para ver los detalles de la aplicación, las etapas del programador, los detalles a nivel de la tarea y del entorno y del ejecutor.
Dataproc Serverless para registros de Spark
El registro está habilitado de forma predeterminada en Dataproc Serverless para Spark y los registros de cargas de trabajo persisten después de un
finaliza la carga de trabajo. Dataproc Serverless para Spark recopila registros de cargas de trabajo en Cloud Logging.
Puedes acceder a los registros de Dataproc Serverless para Spark en el recurso Cloud Dataproc Batch
del Explorador de registros.
Consulta los registros de Dataproc Serverless para Spark
El Explorador de registros de la consola de Google Cloud proporciona un panel de consulta para ayudarte a crear una consulta que examine los registros de cargas de trabajo por lotes. Sigue estos pasos para crear una consulta y examinar la carga de trabajo por lotes registros:
- Se selecciona tu proyecto actual. Puedes hacer clic en Refina el proyecto de alcance para seleccionar un proyecto diferente.
Define una consulta de registros por lotes.
Usa los menús de filtros para filtrar una carga de trabajo por lotes.
En Todos los recursos, selecciona el recurso Lote de Cloud Dataproc.
En el panel Seleccionar recurso, selecciona la UBICACIÓN del lote y, luego, el ID del lote. Estos parámetros de lote se enumeran en el Lotes de Dataproc en la consola de Google Cloud.
Haz clic en Aplicar.
En Seleccionar nombres de registro. ingresa
dataproc.googleapis.com
en el cuadro Buscar nombres de registro para limitar los tipos de registros que se consultarán. Selecciona uno o más de los nombres de archivos de registro que aparecen en la lista.
Usa el editor de consultas para filtrar registros específicos de la VM.
Especifica el tipo de recurso y el nombre del recurso de VM, como se muestra en el siguiente ejemplo:
Notas:resource.type="cloud_dataproc_batch" labels."dataproc.googleapis.com/resource_name"="gdpic-srvls-batch-BATCH_UUID-VM_SUFFIX"
- BATCH_UUID: El UUID por lotes aparece en los detalles del lote. en la consola de Google Cloud, que se abre cuando haces clic en ID de lotes en la página Lotes
Los registros por lotes también incluyen el UUID por lotes en el nombre del recurso de la VM. Este es un ejemplo de un driver.log por lotes:
Haz clic en Ejecutar consulta.
Dataproc Serverless para tipos de registros y consultas de muestra de Spark
En la siguiente lista, se describen los diferentes tipos de registros de Dataproc sin servidores y se proporcionan consultas de muestra del Explorador de registros para cada tipo de registro.
dataproc.googleapis.com/output
: Este archivo de registro contiene el resultado de la carga de trabajo por lotes. Dataproc Serverless para Spark transmite el resultado por lotes al espacio de nombresoutput
y establece el nombre de archivo enJOB_ID.driver.log
.Consulta de muestra del Explorador de registros para registros de salida:
resource.type="cloud_dataproc_batch" resource.labels.location="REGION" resource.labels.batch_id="BATCH_ID" logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Foutput"
dataproc.googleapis.com/spark
: El espacio de nombresspark
agrega Spark registros para daemons y ejecutores que se ejecutan en Dataproc la instancia principal del clúster y las VMs de trabajador. Cada entrada de registro incluye una etiqueta de componentemaster
,worker
oexecutor
para identificar la fuente de registro, como se indica a continuación:executor
: Registros de los ejecutores de código de usuario. Por lo general, estos son registros distribuidos.master
: Son registros del administrador de recursos independiente de Spark, que son similares a los registrosResourceManager
de YARN de Dataproc en Compute Engine.worker
: registros del trabajador independiente del administrador de recursos de Spark. que son similares a Dataproc en YARN de Compute EngineNodeManager
registros.
Ejemplo de consulta del Explorador de registros para todos los registros del espacio de nombres
spark
:resource.type="cloud_dataproc_batch" resource.labels.location="REGION" resource.labels.batch_id="BATCH_ID" logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fspark"
Consulta de muestra del Explorador de registros para los registros de componentes independientes de Spark en el espacio de nombres
spark
:resource.type="cloud_dataproc_batch" resource.labels.location="REGION" resource.labels.batch_id="BATCH_ID" logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fspark" jsonPayload.component="COMPONENT"
dataproc.googleapis.com/startup
: El espacio de nombresstartup
incluye el elemento registros de inicio por lotes (clústeres). Todos los registros de secuencias de comandos de inicialización incluidos. Los componentes se identifican por etiqueta, por ejemplo: Consulta de muestra del Explorador de registros para registros de inicio de registros en una VM especificada:startup-script[855]: ... activate-component-spark[3050]: ... enable spark-worker
resource.type="cloud_dataproc_batch" resource.labels.location="REGION" resource.labels.batch_id="BATCH_ID" logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fstartup" labels."dataproc.googleapis.com/resource_name"="gdpic-srvls-batch-BATCH_UUID-VM_SUFFIX"
dataproc.googleapis.com/agent
: agrega el espacio de nombresagent
. registros del agente de Dataproc. Cada entrada de registro incluye la etiqueta del nombre de archivo que identifica la fuente del registro.Consulta de muestra del Explorador de registros para registros de agentes generados por una VM de trabajador especificada:
resource.type="cloud_dataproc_batch" resource.labels.location="REGION" resource.labels.batch_id="BATCH_ID" logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fagent" labels."dataproc.googleapis.com/resource_name"="gdpic-srvls-batch-BATCHUUID-wWORKER#"
dataproc.googleapis.com/autoscaler
: El espacio de nombresautoscaler
agrega los registros del escalador automático de Dataproc Serverless para Spark.Ejemplo de consulta del Explorador de registros para los registros de agentes generados por una VM de trabajo especificada:
resource.type="cloud_dataproc_batch" resource.labels.location="REGION" resource.labels.batch_id="BATCH_ID" logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fautoscaler" labels."dataproc.googleapis.com/resource_name"="gdpic-srvls-batch-BATCHUUID-wWORKER#"
Para obtener más información, consulta Registros de Dataproc.
Registros de auditoría de Dataproc Serverless
Si quieres obtener información sobre los registros de auditoría de Dataproc Serverless, consulta Registro de auditoría de Dataproc.
Métricas de cargas de trabajo
De forma predeterminada, Dataproc Serverless para Spark habilita la recopilación de métricas de Spark disponibles, a menos que uses propiedades de recopilación de métricas de Spark para inhabilitar o anular la recopilación de una o más métricas de Spark.
Puedes ver las métricas de las cargas de trabajo En el Explorador de métricas La página Detalles del lote de la consola de Google Cloud.
Métricas por lotes
Las métricas de recursos batch
de Dataproc proporcionan estadísticas sobre los recursos por lotes,
como la cantidad de ejecutores por lotes. Las métricas por lotes tienen el prefijo
dataproc.googleapis.com/batch
Métricas de Spark
Las métricas de Spark disponibles incluyen las métricas del controlador y el ejecutor de Spark, y las métricas del sistema. Las métricas de Spark disponibles tienen prefijo
con custom.googleapis.com/
.
Configura alertas de métricas
Puedes crear alertas de métricas de Dataproc para recibir notificaciones sobre problemas de carga de trabajo.
Crea gráficos
Puedes crear gráficos que visualizan las métricas de las cargas de trabajo con el
Explorador de métricas
Consola de Google Cloud Por ejemplo, puedes crear un gráfico para mostrar disk:bytes_used
y, luego, filtrar por batch_id
.
Cloud Monitoring
Monitoring usa metadatos y métricas de cargas de trabajo para proporcionar estadísticas sobre el estado y el rendimiento de Dataproc Serverless para cargas de trabajo de Spark. Las métricas de carga de trabajo incluyen métricas de Spark, métricas por lotes y métricas de operación.
Puedes usar Cloud Monitoring en la consola de Google Cloud para explorar métricas, agregar gráficos, crear paneles y alertas.
Crea paneles
Puedes crear un panel para supervisar las cargas de trabajo mediante métricas de varios proyectos y diferentes productos de Google Cloud. Para obtener más información, consulta Crea y administra paneles personalizados.
Solución avanzada de problemas (versión preliminar)
En esta sección, se describe la solución avanzada de problemas características (Vista previa) que se disponibles en la consola de Google Cloud. Estas funciones incluyen Solución de problemas asistida por Gemini para Dataproc sin servidores, que es parte del Gemini en BigQuery.
Acceso a las funciones de versión preliminar
Si quieres registrarte para la versión preliminar de funciones avanzadas de solución de problemas, completa y envía la Registro de Gemini en BigQuery en la fase previa a la DG formulario. Una vez que se apruebe el formulario, los proyectos enumerados en él tendrán acceso a funciones preliminares.
Vista previa de precios
No se cobra ningún cargo adicional por participar en la vista previa. Los cargos se aplicarán a las siguientes funciones de versión preliminar cuando se conviertan en disponibilidad general (DG):
- Solución de problemas asistida por Gemini para Dataproc sin servidores
- Temas destacados de las métricas por lotes
- Registros de trabajos
El aviso anticipado de los cargos de GA se enviará a la dirección de correo electrónico que proporciones en el formulario de registro de la versión preliminar.
Requisitos sobre las características
Registro: Debes registrarte para acceder a la función.
Permiso: Debes tener el permiso
dataproc.batches.analyze
.Si tienes el rol predefinido
roles/dataproc.admin
,roles/dataproc.editor
oroles/dataproc.viewer
, tienes el permiso necesario. No es necesario realizar ninguna otra acción.Si usas un rol personalizado para acceder a los servicios de Dataproc el rol personalizado debe tener el permiso
dataproc.batches.analyze
. Puedes usar la CLI de gcloud para agregar el permiso, como se muestra en el siguiente comando, que agrega el permiso a nivel del proyecto:
gcloud iam roles update CUSTOM_ROLE_ID --project=PROJECT_ID \ --add-permissions="dataproc.batches.analyze"
Habilitar la solución de problemas asistida por Gemini para Dataproc Serverless: Habilitas solución de problemas para Dataproc Serverless cuando envías cada carga de trabajo recurrente de Spark por lotes mediante el La consola de Google Cloud, gcloud CLI o Dataproc API de gcloud. Una vez que esta función se habilita en una carga de trabajo por lotes recurrente, Dataproc almacena una copia de los registros de la carga de trabajo durante 30 días y usa los datos de registro guardados para proporcionar la solución de problemas asistida por Gemini para la carga de trabajo. Para obtener información sobre el contenido del registro de cargas de trabajo de Spark, consulta Dataproc sin servidores para registros de Spark.
Console
Sigue estos pasos para habilitar la solución de problemas asistida por Gemini en cada Carga de trabajo recurrente de Spark por lotes:
En la consola de Google Cloud, ve a la página Lotes de Dataproc.
Para crear una carga de trabajo por lotes, haz clic en Crear.
En la sección Contenedor, completa los Nombre de cohorte, que identifica el lote como una de una serie de cargas de trabajo recurrentes. El análisis asistido por Gemini se aplica a la segunda carga de trabajo y a las posteriores que se envían con este nombre de cohorte. Por ejemplo, especifica
TPCH-Query1
como el nombre de la cohorte de una carga de trabajo programada que ejecuta un una consulta TPC-H diaria.Completa otras secciones de la página Crear lote según sea necesario y, luego, haz clic en Enviar. Para obtener más información, consulta Envía una carga de trabajo por lotes.
gcloud
Ejecuta la siguiente gcloud CLI
gcloud dataproc batches submit
de forma local en una ventana de terminal o en Cloud Shell
para habilitar la solución de problemas asistida por Gemini en cada carga de trabajo recurrente por lotes de Spark:
gcloud dataproc batches submit COMMAND \ --region=REGION \ --cohort=COHORT \ other arguments ...
Reemplaza lo siguiente:
- COMMAND: Es el tipo de carga de trabajo de Spark, como
Spark
,PySpark
,Spark-Sql
oSpark-R
. - REGION: Es la región en la que se ejecutará tu carga de trabajo.
- COHORT: Es el nombre de la cohorte, que
identifica el lote como parte de una serie de cargas de trabajo recurrentes.
El análisis asistido por Gemini se aplica a la segunda carga de trabajo y las siguientes que se envían.
por el nombre de esta cohorte. Por ejemplo, especifica
TPCH Query 1
. como el nombre de la cohorte para una carga de trabajo programada que ejecuta una Consulta de TPC-H.
API
Incluye el nombre RuntimeConfig.cohort
en una solicitud batches.create para habilitar la solución de problemas asistida por Gemini en cada carga de trabajo de lote recurrente de Spark. El análisis asistido por Gemini se aplica a la segunda carga de trabajo y las posteriores que se envían.
por el nombre de esta cohorte. Por ejemplo, especifica TPCH-Query1
como el nombre de la cohorte.
para una carga de trabajo programada que ejecuta
Consulta de TPC-H.
Ejemplo:
...
runtimeConfig:
cohort: TPCH-Query1
...
Solución de problemas asistida por Gemini para Dataproc Serverless
Las siguientes funciones de vista previa de solución de problemas asistidas por Gemini están disponibles en las páginas de lista Detalles del lote y Lots de la consola de Google Cloud.
Pestaña Investigar: La pestaña Investigar en la página Detalles del lote proporciona una sección Resumen de estado (versión preliminar) con los siguientes paneles de solución de problemas asistidos por Gemini:
- ¿Qué recibió autotune? Si ajuste automático habilitado en una o más cargas de trabajo, este panel muestra los cambios de ajuste se aplican a cargas de trabajo en ejecución, completadas y con errores.
- ¿Qué está pasando ahora? y ¿Qué puedo hacer al respecto? Haz clic en Preguntarle a Gemini para solicitar recomendaciones que te ayuden a corregir cargas de trabajo fallidas o mejorar las cargas de trabajo correctas, pero lentas.
Si haces clic en Ask Gemini, Gemini para Google Cloud generará un resumen de los errores, las anomalías o los aspectos destacados de los registros de cargas de trabajo, las métricas de Spark y los eventos de Spark. Gemini para Google Cloud también puede mostrar una lista de pasos recomendados que puedes seguir para corregir una carga de trabajo que falló o mejorar el rendimiento de una carga de trabajo correcta, pero lenta.
Columnas de solución de problemas asistidas por Gemini: Como parte de la de la versión preliminar, la página de la lista de Batches de Dataproc en la La consola de Google Cloud incluye
What was Autotuned
,What is happening now?
, yWhat can I do about it?
.Se mostrará el botón Preguntar a Gemini y se habilita solo si un lote completado tiene el estado
Failed
,Cancelled
oSucceeded
. Si haces clic en Preguntar a Gemini, Gemini para Google Cloud genera un resumen de los errores, las anomalías o los aspectos destacados de los registros de las cargas de trabajo, las métricas de Spark y los eventos de Spark. Gemini para Google Cloud también puede mostrar una lista de pasos recomendados que puedes seguir para solucionar problemas o mejorar el rendimiento de una carga de trabajo exitosa pero lenta.
Aspectos destacados de las métricas por lotes
Como parte de la versión preliminar, la página Detalles del lote en la consola de Google Cloud incluye gráficos que muestran valores importantes de las métricas de la carga de trabajo por lotes. La métrica los gráficos se propagan con valores después de que se completa el lote.
En la siguiente tabla, se enumeran las métricas de la carga de trabajo de Spark que se muestran en la página Detalles del lote de la consola de Google Cloud y se describe cómo los valores de las métricas pueden proporcionar estadísticas sobre el estado y el rendimiento de la carga de trabajo.
Métrica | ¿Qué muestra? |
---|---|
Métricas a nivel del ejecutor | |
Proporción entre el tiempo de GC de JVM y el tiempo de ejecución | Esta métrica muestra la proporción del tiempo de GC (recolección de elementos no usados) de JVM al tiempo de ejecución por ejecutor. Las proporciones altas pueden indicar fugas de memoria en las tareas que se ejecutan en ejecutores específicos o estructuras de datos ineficientes, lo que puede llevar a una alta deserción de objetos. |
Bytes volcados al disco | Esta métrica muestra la cantidad total de bytes de disco volcados en diferentes ejecutores. Si un ejecutor muestra una gran cantidad de bytes de disco derramados, esto puede indicar un sesgo de datos. Si la métrica aumenta con el tiempo, esto puede indicar que hay etapas con presión o fugas de memoria. |
Bytes leídos y escritos | Esta métrica muestra los bytes escritos en comparación con los bytes leídos por ejecutor. Las discrepancias grandes en los bytes leídos o escritos pueden indicar situaciones en las que las uniones replicadas generan una amplificación de datos en ejecutores específicos. |
Registros leídos y escritos | Esta métrica muestra los registros leídos y escritos por ejecutor. Las operaciones de lectura de registros de números grandes con cantidades bajas de registros escritos pueden indicar un cuello de botella en la lógica de procesamiento en ejecutores específicos, lo que lleva a que los registros se lean mientras se espera. Los ejecutores que tienen retrasos constantes en las operaciones de lectura y escritura pueden indicar una contención de recursos en esos nodos o ineficiencias de código específicas del ejecutor. |
Relación entre el tiempo de escritura aleatoria y el tiempo de ejecución | La métrica muestra la cantidad de tiempo que el ejecutor pasó en el tiempo de ejecución de shuffle en comparación con el tiempo de ejecución general. Si este valor es alto para algunos ejecutores, puede indicar un sesgo de datos o una serialización de datos ineficiente. Puedes identificar etapas con tiempos de escritura aleatorios largos en la IU de Spark. Busca tareas con valores atípicos dentro de esas etapas que tarden más que el tiempo promedio en completarse. Verifica si los ejecutores con tiempos de escritura aleatorios también muestran una actividad alta de E/S del disco. Una serialización más eficiente y pasos de particionamiento adicionales podrían ser útiles. Las escrituras de registro muy grandes en comparación con las lecturas de registros pueden indicar una duplicación de datos no deseada debido a uniones ineficientes o transformaciones incorrectas. |
Métricas a nivel de la aplicación | |
Progreso de etapas | Esta métrica muestra la cantidad de etapas en las fases de error, espera y ejecución. Una gran cantidad de etapas con errores o en espera puede indicar un sesgo en los datos. Verifica las particiones de datos y depura el motivo de la falla de la etapa con la pestaña Etapas en la IU de Spark. |
Ejecutores de Spark por lotes | Esta métrica muestra la cantidad de ejecutores que podrían ser necesarios en comparación con la la cantidad de ejecutores en ejecución. Una gran diferencia entre los ejecutores requeridos y los ejecutores en ejecución puede indicar problemas de ajuste de escala automático. |
Métricas a nivel de la VM | |
Memoria usada | Esta métrica muestra el porcentaje de memoria de VM en uso. Si el porcentaje principal es alto, puede indicar que el controlador está bajo presión de memoria. En el caso de otros nodos de VM, un porcentaje alto puede indicar que los ejecutores se están quedando sin memoria, lo que puede provocar un alto desbordamiento de disco y un tiempo de ejecución de la carga de trabajo más lento. Usar la IU de Spark para analizar los ejecutores y comprobar si el tiempo de GC es alto y si las tareas tienen errores altos. También puedes depurar el código de Spark para almacenar conjuntos de datos grandes y transmisiones innecesarias de variables. |
Registros del trabajo
Como parte de la versión preliminar, la página Detalles de lotes de la consola de Google Cloud muestra los registros de trabajo (carga de trabajo por lotes). Los registros incluyen advertencias y errores filtrados de los resultados de la carga de trabajo y los registros de Spark. Puedes seleccionar Registrar Gravedad, agrega un Filtro y, luego, haz clic en el ícono Ver en el Explorador de registros. para abrir los registros por lotes seleccionados en la Explorador de registros.
Ejemplo: El Explorador de registros se abre después de elegir Errors
en el selector de gravedad en la página Detalles del lote de la consola de Google Cloud.