Criar um painel de monitoramento de pipelines usando o Cloud Monitoring

Saiba como usar o Cloud Monitoring para criar um painel de monitoramento de pipelines.

Para seguir as instruções passo a passo desta tarefa diretamente no console do Google Cloud, clique em Orientação:

Orientações

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

    Enable the APIs

  7. Para criar painéis personalizados, você precisa ter o Editor do Monitoring (roles/monitoring.editor) papel do IAM na conta de serviço.

    Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Criar uma instância do Cloud Data Fusion com o Cloud Logging ativado

Para usar o Cloud Logging com o pipeline do Cloud Data Fusion, crie uma instância do Cloud Data Fusion com o Cloud Logging ativado:

  1. Acesse a página Instâncias do Cloud Data Fusion e clique em Criar instância.

    Criar uma instância

  2. No campo Nome da instância, digite um nome para a nova instância.

  3. No menu suspenso Região, selecione a região do Google Cloud em que você quer criar a instância.

  4. No menu suspenso Versão, selecione uma versão do Cloud Data Fusion.

  5. Selecione uma Edição.

  6. Expanda Opções avançadas.

  7. Na seção Geração de registros e monitoramento, selecione Ativar o serviço do Stackdriver Logging.

  8. Clique em Criar.

Depois de criar uma instância, não será possível ativar o Cloud Logging no console do Google Cloud.

Criar uma métrica com base em registros

  1. Acesse a página Métricas com base em registros do Cloud Logging:

    Acessar "Métricas com base em registros"

  2. Clique em Criar métrica.

  3. Na página Criar um bucket, faça o seguinte:

    1. Em Tipo de métrica, selecione Contador.
    2. No campo Nome da métrica com base em registros, digite pipeline_logs.
    3. No campo Unidades, insira 1.

    4. No campo Filtro de pesquisa, digite o seguinte:

      resource.type="cloud_dataproc_cluster"
log_name=~"projects/.*/logs/datafusion-pipeline-logs"

    5. Na seção Rótulos, clique em Adicionar rótulo e crie os seguintes rótulos. Depois de inserir cada rótulo, clique em Concluído e em Adicionar rótulo novamente para criar o próximo rótulo.

      Nome do rótulo Tipo de rótulo Nome do campo
      Project STRING resource.labels.project_id
      Message STRING jsonPayload.message
      LoggerName STRING labels.loggerName
      ClusterName STRING resource.labels.cluster_name
      SparkPhase STRING labels.".workflowSparkId"
      Region STRING resource.labels.region
      Pipeline STRING labels.".applicationId"
      RunId STRING labels.".runId"
      Namespace STRING labels.".namespaceId"
      LogLevel STRING labels.levelName

    6. Clique em Criar métrica.

      A métrica recém-criada aparece na tabela definida pelo usuário. Se a métrica não aparecer imediatamente, atualize a página.

      O painel contém os seguintes gráficos:

      • Todos os pipelines
      • Pipelines concluídos
      • Pipelines com falha
      • Todas as execuções de pipeline
      • Execuções de pipeline concluídas
      • Execuções de pipeline com falha
      • Clusters do Dataproc para execuções

      Após a criação de uma métrica, pode levar até 24 horas para começar a exibir os dados da série temporal.

Instalar o painel

  1. Faça o download do arquivo JSON na sua máquina local.

  2. Acesse a página Painéis do Cloud Monitoring.

    Acessar os painéis de monitoramento

  3. Clique em Criar painel.

  4. Clique em Configurações do painel > JSON > Editor JSON.

  5. Em um editor de texto, abra o arquivo JSON que você transferiu por download.

  6. Copie o conteúdo do arquivo JSON salvo e cole-o no editor JSON, substituindo o conteúdo que ele contém por padrão.

  7. Clique em Aplicar alterações.

    O painel será atualizado. Os pipelines do Cloud Data Fusion executados após a criação da métrica aparecem no painel. Se nenhum pipeline tiver sido executado após a criação da métrica, o painel estará vazio.

  8. O salvamento automático é ativado por padrão. Se o salvamento automático estiver desativado, clique em Salvar para salvar o painel.

  9. Clique em Fechar editor.

    O novo painel aparece na lista de painéis da página Visão geral do Monitoring.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Excluir a instância do Cloud Data Fusion

Siga estas instruções para excluir a instância do Cloud Data Fusion.

Exclua o projeto

O jeito mais fácil de evitar cobranças é excluindo o projeto que você criou para o tutorial.

Para excluir o projeto:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

A seguir