Analiza un trabajo con registros

En este documento, se describe cómo habilitar, generar y ver registros de Cloud Logging para un trabajo por lotes.

Puedes usar los registros a fin de obtener información útil para analizar tus trabajos. Por ejemplo, los registros pueden ayudarte a depurar trabajos con errores.

En particular, los registros solo se generan después de que un trabajo comienza a ejecutarse y solo si se habilitó el registro para el trabajo. Si necesitas analizar un trabajo sin registros, consulta los eventos de estado.

Antes de comenzar

Si no has usado Batch antes, revisa Comienza a usar Batch y completa los requisitos previos para los proyectos y usuarios a fin de habilitar Batch.
Si quieres obtener los permisos que necesitas para analizar un trabajo mediante registros, pídele a tu administrador que te otorgue los siguientes roles de IAM:
- Para crear un trabajo, sigue estos pasos:
  - Editor de trabajos por lotes (roles/batch.jobsEditor) en el proyecto
  - Usuario de cuenta de servicio (roles/iam.serviceAccountUser) en la cuenta de servicio del trabajo, que de forma predeterminada es la cuenta de servicio predeterminada de Compute Engine
- Para ver los registros, usa el Visor de registros (roles/logging.viewer) del proyecto.
Si quieres obtener más información para otorgar funciones, consulta Administra el acceso.

Es posible que también puedas obtener los permisos necesarios a través de los roles personalizados o de otros roles predefinidos.

Habilita el registro para un trabajo

A fin de permitir que se generen registros para un trabajo, habilita los registros de Cloud Logging cuando crees el trabajo:

Si creas un trabajo con la consola de Google Cloud, los registros de Cloud Logging siempre están habilitados.
Si creas un trabajo con gcloud CLI o la API de Batch, los registros de Cloud Logging se inhabilitan de forma predeterminada. Para habilitar los registros de Cloud Logging, incluye la siguiente configuración en el campo logsPolicy cuando crees el trabajo:
```
{
    ...
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
    ...
}
```

Escribe y genera registros para un trabajo

Cuando los registros de Cloud Logging se habilitan para un trabajo, Cloud Logging genera de forma automática cualquiera de los registros que se escriben para el trabajo. En particular, los trabajos por lotes pueden tener los siguientes tipos de registros:

Registros del agente (batch_agent_logs): Son registros de las actividades del agente de servicio de Batch.

Batch escribe registros de agente de forma automática para cada trabajo que tenga habilitado el registro.
Registros de tareas (batch_task_logs): Registros de cualquier dato en el que hayas configurado los ejecutables de un trabajo para escribir en el flujo de salida estándar (stdout) o de error estándar (stderr).

De manera opcional, puedes escribir registros de tareas para cada trabajo que tenga habilitado el registro.

Visualiza los registros de un trabajo

Puedes ver los registros de un trabajo con la consola de Google Cloud, gcloud CLI, la API de Logging, Go, Java, Python o C++.

Console

Para ver los registros de un trabajo con la consola de Google Cloud, sigue estos pasos:

En la consola de Google Cloud, ve a la página Lista de trabajos.

Ir a Lista de trabajos
En la columna Nombre del trabajo, haz clic en el nombre de un trabajo. Se abrirá la página Detalles del trabajo.
Haz clic en la pestaña Registros. Batch muestra todos los registros asociados con el trabajo.
Opcional: Para filtrar los registros, realiza una de las siguientes acciones:
- Ingresa un filtro en el campo Filtro.
- En la lista Gravedad, selecciona una gravedad.
- Haz clic en Ver en el Explorador de registros para crear una consulta en el Explorador de registros con los Parámetros de filtro por lotes.

gcloud

Para ver los registros con gcloud CLI, usa el comando gcloud logging read:

gcloud logging read "QUERY"

En el ejemplo anterior, QUERY es una consulta para los registros por lotes que contienen parámetros de filtro por lotes.

API

Para ver los registros con la API de Logging, usa el método entries.list:

POST https://logging.googleapis.com/v2/entries:list
{
    "resourceNames": [
        "projects/PROJECT_ID"
    ],
    "filter": "QUERY"
    "orderBy": "timestamp desc"
}

Reemplaza lo siguiente:

PROJECT_ID: Es el ID del proyecto.
QUERY: Es una consulta para los registros por lotes que contiene parámetros de filtro por lotes.

Go

Si deseas obtener más información, consulta la documentación de referencia de la API de Batch Go.

Para autenticarte en Batch, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.

import (
	"context"
	"fmt"
	"io"

	batch "cloud.google.com/go/batch/apiv1"
	"cloud.google.com/go/logging"
	"cloud.google.com/go/logging/logadmin"
	"google.golang.org/api/iterator"
	batchpb "google.golang.org/genproto/googleapis/cloud/batch/v1"
)

// Retrieve the logs written by the given job to Cloud Logging
func printJobLogs(w io.Writer, projectID string, job *batchpb.Job) error {
	// projectID := "your_project_id"

	ctx := context.Background()
	batchClient, err := batch.NewClient(ctx)
	if err != nil {
		return fmt.Errorf("NewClient: %w", err)
	}
	defer batchClient.Close()

	adminClient, err := logadmin.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("Failed to create logadmin client: %w", err)
	}
	defer adminClient.Close()

	const name = "batch_task_logs"

	iter := adminClient.Entries(ctx,
		// Only get entries from the "batch_task_logs" log for the job with the given UID
		logadmin.Filter(fmt.Sprintf(`logName = "projects/%s/logs/%s" AND labels.job_uid=%s`, projectID, name, job.Uid)),
	)

	var entries []*logging.Entry

	for {
		logEntry, err := iter.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			return fmt.Errorf("unable to fetch log entry: %w", err)
		}
		entries = append(entries, logEntry)
		fmt.Fprintf(w, "%s\n", logEntry.Payload)
	}

	fmt.Fprintf(w, "Successfully fetched %d log entries\n", len(entries))

	return nil
}

Java

Si deseas obtener más información, consulta la documentación de referencia de la API de Batch Java.

import com.google.cloud.batch.v1.Job;
import com.google.cloud.logging.v2.LoggingClient;
import com.google.logging.v2.ListLogEntriesRequest;
import com.google.logging.v2.LogEntry;
import java.io.IOException;

public class ReadJobLogs {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Cloud project hosting the job.
    String projectId = "YOUR_PROJECT_ID";

    // The job which logs you want to print.
    Job job = Job.newBuilder().build();

    readJobLogs(projectId, job);
  }

  // Prints the log messages created by given job.
  public static void readJobLogs(String projectId, Job job) throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the `loggingClient.close()` method on the client to safely
    // clean up any remaining background resources.
    try (LoggingClient loggingClient = LoggingClient.create()) {

      ListLogEntriesRequest request = ListLogEntriesRequest.newBuilder()
          .addResourceNames(String.format("projects/%s", projectId))
          .setFilter(String.format("labels.job_uid=%s", job.getUid()))
          .build();

      for (LogEntry logEntry : loggingClient.listLogEntries(request).iterateAll()) {
        System.out.println(logEntry.getTextPayload());
      }
    }
  }
}

Python

Si deseas obtener más información, consulta la documentación de referencia de la API de Batch Python.

from __future__ import annotations

from typing import NoReturn

from google.cloud import batch_v1
from google.cloud import logging

def print_job_logs(project_id: str, job: batch_v1.Job) -> NoReturn:
    """
    Prints the log messages created by given job.

    Args:
        project_id: name of the project hosting the job.
        job: the job which logs you want to print.
    """
    # Initialize client that will be used to send requests across threads. This
    # client only needs to be created once, and can be reused for multiple requests.
    log_client = logging.Client(project=project_id)
    logger = log_client.logger("batch_task_logs")

    for log_entry in logger.list_entries(filter_=f"labels.job_uid={job.uid}"):
        print(log_entry.payload)

C++

Si deseas obtener más información, consulta la documentación de referencia de la API de Batch C++.

#include "google/cloud/batch/v1/batch_client.h"
#include "google/cloud/logging/v2/logging_service_v2_client.h"
#include "google/cloud/location.h"
#include "google/cloud/project.h"

  [](std::string const& project_id, std::string const& location_id,
     std::string const& job_id) {
    auto const project = google::cloud::Project(project_id);
    auto const location = google::cloud::Location(project, location_id);
    auto const name = location.FullName() + "/jobs/" + job_id;
    auto batch = google::cloud::batch_v1::BatchServiceClient(
        google::cloud::batch_v1::MakeBatchServiceConnection());
    auto job = batch.GetJob(name);
    if (!job) throw std::move(job).status();

    auto logging = google::cloud::logging_v2::LoggingServiceV2Client(
        google::cloud::logging_v2::MakeLoggingServiceV2Connection());
    auto const log_name = project.FullName() + "/logs/batch_task_logs";
    google::logging::v2::ListLogEntriesRequest request;
    request.mutable_resource_names()->Add(project.FullName());
    request.set_filter("logName=\"" + log_name +
                       "\" labels.job_uid=" + job->uid());
    for (auto l : logging.ListLogEntries(request)) {
      if (!l) throw std::move(l).status();
      std::cout << l->text_payload() << "\n";
    }
  }

Filtrar registros por lotes

Puedes filtrar los registros por lotes si escribes una consulta que incluya uno o más de los siguientes parámetros de filtro y cero o más operadores booleanos (AND, OR y NOT).

Para filtrar los registros de un trabajo específico, especifica el ID único del trabajo (UID):
```
labels.job_uid=JOB_UID
```
En el ejemplo anterior, JOB_UID es el UID del trabajo. Para obtener el UID de un trabajo, consulta los detalles del trabajo.
Para filtrar según un tipo específico de registros por lotes, especifica el tipo de registro:
```
logName=projects/PROJECT_ID/logs/BATCH_LOG_TYPE
```
Reemplaza lo siguiente:
- PROJECT_ID: Es el ID del proyecto del que deseas ver los registros.
- BATCH_LOG_TYPE: El tipo de registros por lotes que deseas ver, ya sea batch_task_logs para los registros de tareas o batch_agent_logs para los registros de agentes.
Para filtrar registros con eventos de estado personalizados, especifica que el registro debe definir el campo jsonPayload.batch/custom/event:
```
jsonPayload.batch"/"custom"/"event!=NULL_VALUE
```
Para filtrar los registros de uno o más niveles de gravedad específicos, especifica la siguiente comparación:
```
severityCOMPARISON_OPERATORSEVERITY_ENUM
```
Reemplaza lo siguiente:
- COMPARISON_OPERATOR: Es un operador de comparación, por ejemplo, >=.
- SEVERITY_ENUM: Es una enumeración LogSeverity, que describe la gravedad de un registro, por ejemplo, ERROR.

Para ver más opciones de filtro, consulta la documentación sobre el lenguaje de consulta de Cloud Logging.

¿Qué sigue?

Obtén más información sobre la solución de problemas.
Obtén más información sobre Cloud Logging.
Aprende a escribir registros de tareas.
Obtén más información sobre cómo borrar y exportar trabajos.