Criar um painel de monitoramento de pipeline usando o Cloud Monitoring

Saiba como usar o Cloud Monitoring para criar um painel de monitoramento de pipelines.

Para seguir as instruções detalhadas desta tarefa diretamente no console do Google Cloud, clique em Orientação:

Orientações

Antes de começar

  1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

  2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  4. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  5. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  6. Ative as APIs Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc.

    Ative as APIs

  7. Para criar painéis personalizados, você precisa receber o papel do IAM de Editor do Monitoring (roles/monitoring.editor) na conta de serviço.

    Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

crie uma instância do Cloud Data Fusion com o Cloud Logging ativado

Para usar o Cloud Logging com o pipeline do Cloud Data Fusion, crie uma instância do Cloud Data Fusion com o Cloud Logging ativado:

  1. Acesse a página Instâncias do Cloud Data Fusion e clique em Criar instância.

    Criar uma instância

  2. No campo Nome da instância, digite um nome para a nova instância.

  3. No menu suspenso Região, selecione a região do Google Cloud em que você quer criar a instância.

  4. No menu suspenso Versão, selecione uma versão do Cloud Data Fusion.

  5. Selecione uma Edição.

  6. Expanda Opções avançadas.

  7. Na seção Geração de registros e monitoramento, selecione Ativar o serviço do Stackdriver Logging.

  8. Clique em Criar.

Depois de criar uma instância, não será possível ativar o Cloud Logging no console do Google Cloud.

Criar uma métrica com base em registros

  1. Acesse a página Métricas com base em registros do Cloud Logging:

    Acessar "Métricas com base em registros"

  2. Clique em Criar métrica.

  3. Na página Criar uma métrica, faça o seguinte:

    1. Em Tipo de métrica, selecione Contador.
    2. No campo Nome da métrica com base em registros, digite pipeline_logs.
    3. No campo Unidades, insira 1.

    4. No campo Filtro de criação, insira o seguinte:

      resource.type="cloud_dataproc_cluster"
log_name=~"projects/.*/logs/datafusion-pipeline-logs"

    5. Na seção Rótulos, clique em Adicionar rótulo e crie os seguintes. Depois de inserir cada rótulo, clique em Concluído e em Adicionar rótulo novamente para criar o próximo rótulo.

      Nome do rótulo Tipo de rótulo Nome do campo
      Project STRING resource.labels.project_id
      Message STRING jsonPayload.message
      LoggerName STRING labels.loggerName
      ClusterName STRING resource.labels.cluster_name
      SparkPhase STRING labels.".workflowSparkId"
      Region STRING resource.labels.region
      Pipeline STRING labels.".applicationId"
      RunId STRING labels.".runId"
      Namespace STRING labels.".namespaceId"
      LogLevel STRING labels.levelName

    6. Clique em Criar métrica.

      A métrica recém-criada aparece na tabela definida pelo usuário. Se a métrica não aparecer imediatamente, atualize a página.

      O painel contém os seguintes gráficos:

      • Todos os pipelines
      • Pipelines concluídos
      • Pipelines com falha
      • Todas as execuções de pipeline
      • Execuções de pipeline concluídas
      • Execuções de pipeline com falha
      • Clusters do Dataproc para execuções

      Após a criação de uma métrica, pode levar até 24 horas para começar a exibir os dados da série temporal.

Instalar o painel

  1. Faça o download do arquivo JSON na sua máquina local.

  2. Acesse a página Painéis do Cloud Monitoring.

    Acessar os painéis do Monitoring

  3. Clique em Criar painel.

  4. Clique em Configurações do painel > JSON > Editor JSON.

  5. Em um editor de texto, abra o arquivo JSON que você transferiu por download.

  6. Copie o conteúdo do arquivo JSON salvo e cole-o no editor de JSON, substituindo o conteúdo que ele contém por padrão.

  7. Clique em Aplicar alterações.

    O painel será atualizado. Os pipelines do Cloud Data Fusion executados após a criação da métrica aparecem no painel. Se nenhum pipeline tiver sido executado após a criação da métrica, o painel estará vazio.

  8. O salvamento automático é ativado por padrão. Se o salvamento automático estiver desativado, clique em Salvar para salvar o painel.

  9. Clique em Fechar editor.

    O novo painel aparece na lista de painéis da página Visão geral do Monitoring.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Excluir a instância do Cloud Data Fusion

Siga estas instruções para excluir a instância do Cloud Data Fusion.

Excluir o projeto

O jeito mais fácil de evitar cobranças é excluindo o projeto que você criou para o tutorial.

Para excluir o projeto:

  1. No Console do Google Cloud, acesse a página Gerenciar recursos.

    Acessar "Gerenciar recursos"

  2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
  3. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

A seguir