Crie um painel de controlo de monitorização de pipelines com o Cloud Monitoring

Crie um painel de controlo de monitorização de pipelines com o Cloud Monitoring

Saiba como usar o Cloud Monitoring para criar um painel de controlo para monitorizar pipelines.

---

Para seguir orientações passo a passo para esta tarefa diretamente na Google Cloud consola, clique em Orientar-me:

Visita guiada

---

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

2. Para criar painéis de controlo personalizados, tem de ter a função de IAM Editor de monitorização (roles/monitoring.editor) na conta de serviço.

   Para mais informações sobre a concessão de funções, consulte o artigo Gerir acesso.

Crie uma instância do Cloud Data Fusion com o Cloud Logging ativado

Para usar o Cloud Logging com o seu pipeline do Cloud Data Fusion, crie uma instância do Cloud Data Fusion com o Cloud Logging ativado:

1. Aceda à página Instances do Cloud Data Fusion e clique em Create instance.

   Crie uma instância

2. No campo Nome da instância, introduza um nome para a nova instância.

3. No menu pendente Região, selecione a Google Cloud região na qual quer criar a instância.

4. No menu pendente Versão, selecione uma versão do Cloud Data Fusion.

5. Selecione uma edição.

6. Expanda Opções avançadas.

7. Na secção Registo e monitorização, selecione Ativar serviço de registo do Stackdriver.

8. Clique em Criar.

Depois de criar uma instância, não pode ativar o Cloud Logging na Google Cloud consola.

Crie uma métrica baseada em registos

1. Aceda à página Métricas baseadas em registos do Cloud Logging:

   Aceda a Métricas baseadas em registos

2. Clique em Criar métrica.

3. Na página Criar uma métrica, faça o seguinte:

   1. Para Tipo de métrica, selecione Contador.
   2. No campo Nome da métrica baseada em registos, introduza pipeline_logs.
   3. No campo Unidades, introduza 1.

   4. No campo Criar filtro, introduza o seguinte:

      resource.type="cloud_dataproc_cluster"
      log_name=~"projects/.*/logs/datafusion-pipeline-logs"
      

   5. Na secção Etiquetas, clique em Adicionar etiqueta e crie as seguintes etiquetas. Depois de introduzir cada etiqueta, clique em Concluído e clique novamente em Adicionar etiqueta para criar a etiqueta seguinte.

      Nome da etiqueta	Tipo de etiqueta	Nome do campo
      Project	STRING	resource.labels.project_id
      Message	STRING	jsonPayload.message
      LoggerName	STRING	labels.loggerName
      ClusterName	STRING	resource.labels.cluster_name
      SparkPhase	STRING	labels.".workflowSparkId"
      Region	STRING	resource.labels.region
      Pipeline	STRING	labels.".applicationId"
      RunId	STRING	labels.".runId"
      Namespace	STRING	labels.".namespaceId"
      LogLevel	STRING	labels.levelName

   6. Clique em Criar métrica.

      A métrica recém-criada é apresentada na tabela de métricas definidas pelo utilizador. Se a métrica não for imediatamente visível, atualize a página.

      O painel de controlo contém os seguintes gráficos:

      • Todas as pipelines
      • Pipelines concluídas
      • Pipelines com falhas
      • Todas as execuções de pipelines
      • Execuções de pipelines concluídas
      • Execuções de pipelines com falhas
      • Clusters do Dataproc para execuções

      Depois de criar uma métrica, a apresentação dos dados de séries cronológicas pode demorar até 24 horas.

Instale o painel de controlo

1. Transfira o ficheiro JSON para a sua máquina local.

2. Aceda à página Painéis de controlo do Cloud Monitoring:

   Aceda aos painéis de controlo de monitorização

3. Clique em Criar painel de controlo.

4. Clique em Definições do painel de controlo > JSON > Editor de JSON.

5. Num editor de texto, abra o ficheiro JSON que transferiu.

6. Copie o conteúdo do ficheiro JSON transferido e cole-o no editor JSON, substituindo o conteúdo que o editor JSON contém por predefinição.

7. Clique em Aplicar alterações.

   Esta ação atualiza o painel de controlo. Os pipelines do Cloud Data Fusion executados após a criação da métrica aparecem no painel de controlo. Se não tiverem sido executados pipelines após a criação da métrica, o painel de controlo estará vazio.

8. A gravação automática está ativada por predefinição. Se a gravação automática estiver desativada, clique em Guardar para guardar o painel de controlo.

9. Clique em Fechar editor.

   O novo painel de controlo é apresentado na lista de painéis de controlo na página Vista geral da monitorização.

Limpar

Para evitar incorrer em cobranças na sua Google Cloud conta pelos recursos usados nesta página, siga estes passos.

Elimine a instância do Cloud Data Fusion

Siga estas instruções para eliminar a sua instância do Cloud Data Fusion.

Elimine o projeto

A forma mais fácil de eliminar a faturação é eliminar o projeto que criou para o tutorial.

Para eliminar o projeto:

Atenção: a eliminação de um projeto tem os seguintes efeitos:

• Tudo no projeto é eliminado. Se usou um projeto existente para as tarefas neste documento, quando o elimina, também elimina qualquer outro trabalho que tenha feito no projeto.
• Os IDs dos projetos personalizados são perdidos. Quando criou este projeto, pode ter criado um ID do projeto personalizado que quer usar no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, elimine os recursos selecionados no projeto em vez de eliminar o projeto inteiro.

Se planeia explorar várias arquiteturas, tutoriais ou inícios rápidos, a reutilização de projetos pode ajudar a evitar exceder os limites de quota de projetos.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

O que se segue?

• Saiba mais sobre o Cloud Monitoring.