Conferir métricas de pipeline

Depois de definir, criar e executar um pipeline, é possível visualizar métricas relacionadas ao job ou às tarefas do pipeline no Metrics Explorer. Além disso, é possível criar métricas e alertas personalizados com base em registros usando o Cloud Logging para monitorar eventos, como falhas de pipeline.

Nesta página, descrevemos como você pode fazer o seguinte:

• Conferir as métricas padrão do Vertex AI Pipelines no Metrics Explorer

• Criar e ver métricas personalizadas na Análise de registros (prévia)

A criação e a visualização de métricas personalizadas no Cloud Logging têm custos associados a elas. Para mais informações, consulte os preços do Cloud Logging.

Conferir as métricas padrão do Vertex AI Pipelines no Metrics Explorer

Visualização

Esse recurso está sujeito aos "Termos de ofertas pré-GA" na seção "Termos de Serviço gerais" dos Termos específicos de serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

É possível visualizar as seguintes métricas relacionadas ao Vertex AI Pipelines no Metrics Explorer:

• Métricas no nível do job de pipeline:

  • Use a métrica Vertex Pipelines Job - PipelineJob duration para visualizar a duração do ambiente de execução das execuções do pipeline.

  • Use a métrica Location - Executing PipelineJobs para visualizar o número de execuções do pipeline.

• Métricas no nível da tarefa de pipeline:

  • Use Vertex Pipelines Job - Completed PipelineTasks para visualizar o número de tarefas concluídas do pipeline.

  • Use o Location - Executing PipelineTasks para visualizar o número de tarefas de pipeline executadas em execuções de pipeline.

Conferir a duração do ambiente de execução de jobs de pipeline

Use as instruções a seguir para visualizar a métrica Vertex Pipelines Job - PipelineJob duration no console do Google Cloud:

1. Acesse o Metrics Explorer:

   Acessar o Metrics Explorer

2. Na lista Métrica, selecione Job do Vertex Pipelines > Pipelinejob > Duração do PipelineJob.

3. Clique em Aplicar.

4. Opcional: para filtrar a consulta, especifique um ou mais critérios clicando em Filtrar. Exemplo:

   • Para conferir a duração do ambiente de execução de um job de pipeline específico, use o filtro pipeline_job_id.

   • Para consultar a duração do ambiente de execução dos jobs de pipeline de um local específico, use o filtro location.

   • Para visualizar a duração do ambiente de execução de jobs de pipeline no estado PIPELINE_JOB_RUNNING, PIPELINE_JOB_CANCELLED ou PIPELINE_JOB_PENDING, use o filtro run_state.

Conferir o número de execuções do pipeline

Use as instruções a seguir para visualizar a métrica Location - Executing PipelineJobs no console do Google Cloud:

1. Acesse o Metrics Explorer:

   Acessar o Metrics Explorer

2. Na lista Métrica, selecione Local > Executing_vertexai_pipeline_jobs > Executando PipelineJobs.

3. Clique em Aplicar.

4. Opcional: para filtrar a consulta, especifique um ou mais critérios clicando em Filtrar. Por exemplo, para consultar o número de jobs de pipeline de um local específico, use o filtro location.

Conferir o número de tarefas de pipeline concluídas

Use as instruções a seguir para visualizar a métrica Vertex Pipelines Job - Completed PipelineTasks no console do Google Cloud:

1. Acesse o Metrics Explorer:

   Acessar o Metrics Explorer

2. Na lista Métrica, selecione Job do Vertex Pipelines > Pipelinejob > PipelineTasks concluído.

3. Clique em Aplicar.

4. Opcional: para filtrar a consulta, especifique um ou mais critérios clicando em Filtrar. Exemplo:

   • Para visualizar o número de tarefas concluídas em uma execução de pipeline específica, use o filtro pipeline_job_id.

   • Para ver o número de tarefas concluídas em execuções de pipeline para um local específico, use o filtro location.

Conferir o número de tarefas de pipeline executadas

Use as instruções a seguir para visualizar a métrica Location - Executing PipelineTasks no console do Google Cloud:

1. Acesse o Metrics Explorer:

   Acessar o Metrics Explorer

2. Na lista Metric, selecione Local > Executing_vertexai_pipeline_tasks > Executing PipelineTasks.

3. Clique em Aplicar.

4. Opcional: para filtrar a consulta, especifique um ou mais critérios clicando em Filtrar. Por exemplo, para consultar o número de tarefas de pipeline executadas em um local específico, use o filtro location.

Criar e visualizar métricas personalizadas na Análise de registros

É possível usar o Explorador de registros no Console do Google Cloud para criar métricas com base em registros personalizadas que rastreiam e analisam padrões nos registros do pipeline.

Exemplos de métricas personalizadas

Esta seção ilustra exemplos de métricas personalizadas que podem ser criadas. Isso inclui o seguinte:

• Criar uma métrica personalizada para jobs de pipeline com falha

• Criar uma métrica personalizada para o estado final do pipeline

• Ver taxa de falha do job de pipeline

Criar uma métrica personalizada para jobs de pipeline com falha

Para criar uma métrica de contador com base em registros que monitore os jobs de pipeline com falha, faça o seguinte:

1. Acesse o Explorador de registros:

   Acesse o Explorador de registros

2. Selecione o projeto do Google Cloud apropriado.

3. No menu suspenso Resource, selecione Vertex Pipelines Job.

4. No menu suspenso Local, selecione o local do seu pipeline.

5. No menu suspenso Todos os pipelines_job_id, selecione o ID do job do pipeline.

6. Clique em Aplicar.

7. Clique em Criar métrica.

8. Na tela Criar métrica de registros:

   1. Defina o Tipo de métrica: selecione Contador.

   2. Defina os seguintes campos na seção Detalhes:

      • Nome da métrica de registro: insira um nome para sua métrica de registro, por exemplo, pipelinejob_failed. Escolha um nome que seja exclusivo entre as métricas com base em registros no projeto do Google Cloud. Sujeito a restrições de nomenclatura. Para mais informações, consulte Solução de problemas.
      • Descrição: insira uma descrição para a métrica.
      • Unidades: deixe esse campo em branco ou digite o dígito 1.

   3. Defina o filtro de métricas na seção Seleção de filtro. Crie um filtro que colete apenas as entradas de registros que você quer contar na métrica usando a linguagem de consulta de geração de registros, por exemplo:

      resource.type="aiplatform.googleapis.com/PipelineJob"
      jsonPayload.state="PIPELINE_STATE_FAILED"
      

      Também é possível usar expressões regulares para criar os filtros da métrica.

      Para abrir um painel que mostra as entradas de registro correspondentes ao filtro, clique em Visualizar registros.

   4. Opcional: adicione um rótulo na seção Rótulos. Para instruções sobre como criar rótulos, consulte Criar um rótulo.

   5. Para criar a métrica, clique em Criar métrica.

Criar uma métrica personalizada para o estado final do pipeline

Para criar uma métrica de contador com base em registros que monitore o estado final dos jobs do pipeline, faça o seguinte:

1. Acesse o Explorador de registros:

   Acesse o Explorador de registros

2. Selecione o projeto do Google Cloud apropriado.

3. No menu suspenso Resource, selecione Vertex Pipelines Job.

4. No menu suspenso Local, selecione o local do seu pipeline.

5. No menu suspenso Todos os pipelines_job_id, selecione o ID do job do pipeline.

6. Clique em Aplicar.

7. Clique em Criar métrica.

8. Na tela Criar métrica de registros:

   1. Defina o Tipo de métrica: selecione Contador.

   2. Defina os seguintes campos na seção Detalhes:

      • Nome da métrica de registro: insira um nome para sua métrica de registro, por exemplo, Pipeline_state_final. Escolha um nome que seja exclusivo entre as métricas com base em registros no projeto do Google Cloud. Sujeito a restrições de nomenclatura. Para mais informações, consulte Solução de problemas.
      • Descrição: insira uma descrição para a métrica.
      • Unidades: deixe esse campo em branco ou digite o dígito 1.

   3. Defina o filtro de métricas na seção Seleção de filtro. Crie um filtro que colete apenas as entradas de registros que você quer contar na métrica usando a linguagem de consulta de geração de registros, por exemplo:

      resource.type="aiplatform.googleapis.com/PipelineJob"
      jsonPayload.state="PIPELINE_STATE_SUCCEEDED" OR
      "PIPELINE_STATE_FAILED" OR "PIPELINE_STATE_CANCELLED"
      

      Também é possível usar expressões regulares para criar os filtros da métrica.

      Para abrir um painel que mostra as entradas de registro correspondentes ao filtro, clique em Visualizar registros.

   4. Opcional: adicione um rótulo na seção Rótulos. Para instruções sobre como criar rótulos, consulte Criar um rótulo.

   5. Para criar a métrica, clique em Criar métrica.

Ver taxa de falha do job de pipeline

A taxa de falha no job do pipeline é calculada como a proporção entre o número de jobs de pipeline no estado final e o número de jobs de pipeline com falha. Para criar um painel para monitorar a taxa de falha no job do pipeline, faça o seguinte:

1. Crie uma métrica para monitorar os jobs do pipeline no estado final. Para mais informações, consulte Criar uma métrica personalizada para o estado final do pipeline.

2. Criar uma métrica para monitorar os jobs do pipeline no estado Para mais informações, consulte Criar uma métrica personalizada para jobs de pipeline com falha.

3. Na seção Monitoramento do Console do Google Cloud, acesse a página do Metrics Explorer.

   Acessar a página "Metrics Explorer"

4. Na guia Configuration, faça o seguinte:

   1. Clique em Adicionar outra métrica.

   2. Selecione a opção Exibir métricas como proporção. Ao selecionar essa opção:

      • O painel Série temporal A foi renomeado como Numerador.

      • O painel Série temporal B foi renomeado como Denominator.

   3. No painel Numerador, clique em Selecionar uma métrica para selecionar a métrica criada para jobs de pipeline com falha.

   4. No painel Denominador, clique em Selecionar uma métrica para selecionar a métrica criada para jobs de pipeline de estado final.

   5. (Opcional) Configure o numerador e o denominador adicionando filtros ou atualizando os campos de agrupamento e os parâmetros de alinhamento.

      Para mais informações sobre como adicionar filtros ou atualizar os campos de agrupamento e os parâmetros de alinhamento, consulte Gráfico de proporção de métricas.

      Observação: as duas métricas selecionadas como numerador e denominador precisam ter o mesmo tipo de recurso. Se você selecionar a mesma métrica do numerador e do denominador, use filtros ou agrupamentos diferentes para tornar o numerador diferente do denominador.

   Depois de selecionar o numerador e o denominador, a taxa de falha do job do pipeline é exibida no gráfico.

   • Depois de gerar o gráfico da taxa de falha do job de pipeline, é possível adicioná-lo ao seu painel personalizado. Veja mais informações em Salvar um gráfico para referência futura.

   • Para copiar o URL que contém a configuração do gráfico, clique no ícone de reticências no canto superior direito do gráfico e, em seguida, clique em Compartilhar por URL.