Como usar a geração de registros e o monitoramento

Nesta página, você verá como usar o Cloud Logging e o Cloud Monitoring, além do Prometheus e do Grafana para registro e monitoramento. Para um resumo das opções de configuração disponíveis, consulte Visão geral do Logging e do Monitoring.

Como usar o Cloud Logging e o Cloud Monitoring

As seções a seguir explicam como usar o Logging e o Monitoring com clusters do GKE On-Prem do Anthos (GKE On-prem).

Recursos monitorados

Os recursos monitorados são a forma como o Google representa recursos, como clusters, nós, pods e contêineres. Para saber mais, consulte a documentação dos tipos de recursos monitorados do Cloud Monitoring.

Para consultar registros e métricas, você precisa saber pelo menos estes rótulos de recursos:

  • project_id: ID do projeto associado ao cluster do GKE On-Prem.

  • location: uma região do Google Cloud em que você quer armazenar registros do Logging e métricas do Monitoring. É recomendável escolher uma região próxima ao seu data center local. Você forneceu esse valor durante a instalação no campo stackdriver.clusterlocation do arquivo de configuração do GKE On-Prem.

  • cluster_name: nome que você escolheu quando criou o cluster.

    É possível recuperar o valor cluster_name do cluster de administrador ou de usuário inspecionando o recurso personalizado do Stackdriver:

      kubectl -n kube-system get stackdrivers stackdriver -o yaml | grep 'clusterName:'

Como acessar dados de registro

Acesse os registros por meio do Visualizador de registros no Console do Cloud. Por exemplo, para acessar os registros de um contêiner:

  1. Abra o Visualizador de registros no Console do Cloud para seu projeto.
  2. Encontre registros de um contêiner da seguinte maneira:
    1. Clique na caixa suspensa do catálogo de registros no canto superior esquerdo e selecione Contêiner do Kubernetes.
    2. Selecione o nome do cluster, o namespace e um contêiner da hierarquia.

Como criar painéis para monitorar a integridade do cluster

Por padrão, os clusters do GKE On-Prem são configurados para monitorar as métricas do sistema e do contêiner. Depois de criar um cluster (administrador ou usuário), uma prática recomendada é criar os seguintes painéis com o Monitoring para permitir que a equipe de operações do GKE On-Prem monitore a integridade do cluster:

Nesta seção, você verá como criar esses painéis. Para mais informações sobre o processo de criação de painéis descrito nas seções a seguir, consulte Como gerenciar painéis por API.

Pré-requisitos

Sua Conta do Google precisa ter as seguintes permissões para criar painéis:

  • monitoring.dashboards.create
  • monitoring.dashboards.delete
  • monitoring.dashboards.update

Você terá essas permissões se sua conta tiver um dos papéis a seguir. Verifique suas permissões (no Console do Cloud):

  • monitoring.dashboardsEditor
  • monitoring.editor
  • Projeto editor
  • Projeto owner

Criar um painel de status do plano de controle

O plano de controle do GKE On-Prem consiste no servidor de API, no programador, no gerenciador do controlador e no etcd. Para monitorar o status do plano de controle, crie um painel que monitore o estado desses componentes.

  1. Faça o download da configuração do painel: control-plane-status.json

  2. Crie um painel personalizado com o arquivo de configuração executando o seguinte comando:

    gcloud monitoring dashboards create --config-from-file=control-plane-status.json
  3. No Console do Google Cloud, selecione Monitoring ou use este botão:

    Acessar o Monitoring

  4. Selecione Recursos > Painéis e veja o painel chamado Status do plano de controle do GKE On-Prem do Anthos (visualização). O status do plano de controle de cada cluster de usuário é coletado de namespaces separados no cluster de administração. O campo namespace_name é o nome do cluster do usuário.

    Um limite de objetivo de nível de serviço (SLO, na sigla em inglês) de 0,999 é definido em cada gráfico.

  5. Como opção, crie políticas de alertas.

Criar um painel de status do pod

Para criar um painel que inclua a fase de cada pod, além dos tempos de reinicialização e do uso de recursos de cada contêiner, execute as etapas a seguir.

  1. Faça o download da configuração do painel: pod-status.json

  2. Crie um painel personalizado com o arquivo de configuração executando o seguinte comando:

    gcloud monitoring dashboards create --config-from-file=pod-status.json
  3. No Console do Google Cloud, selecione Monitoring ou use este botão:

    Acessar o Monitoring

  4. Selecione Recursos > Painéis e veja o painel chamado Status do pod do GKE On-Prem do Anthos (visualização).

  5. Como opção, crie políticas de alertas.

Como acessar dados de métricas

É possível escolher entre mais de 1.500 métricas usando o Metrics Explorer. Para acessar o Metrics Explorer, faça o seguinte:

  1. No Console do Google Cloud, selecione Monitoring ou use este botão:

    Acessar o Monitoring

  2. Selecione Recursos > Metrics Explorer.

Como acessar os metadados do Monitoring

Os metadados são usados indiretamente por meio de métricas. Ao filtrar métricas no Metrics Explorer do Monitoring, você verá opções para filtrar métricas por metadata.systemLabels e metadata.userLabels. Os rótulos do sistema são rótulos como o nome do nó e o nome do serviço para os pods. Os rótulos de usuário são atribuídos a pods nos arquivos YAML do Kubernetes na seção "metadados" da especificação do pod.

Limites de cota padrão do Cloud Monitoring

O monitoramento do GKE On-Prem tem um limite padrão de 6.000 chamadas de API por minuto para cada projeto. Se você exceder esse limite, suas métricas poderão não ser exibidas. Se você precisar de um limite de monitoramento maior, solicite um por meio do Console do Google Cloud.

Prometheus e Grafana

As seções a seguir explicam como usar o Prometheus e o Grafana com clusters do GKE On-Prem.

Como ativar o Prometheus e o Grafana

A partir da versão 1.2 do GKE On-Prem, é possível escolher se você quer ativar ou desativar o Prometheus e o Grafana. Em novos clusters de usuários, o Prometheus e o Grafana são desativados por padrão.

  1. Seu cluster de usuário tem um objeto do Monitoring chamado monitoring-sample. Abra o objeto para edição:

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] edit \
       monitoring monitoring-sample --namespace kube-system

    em que [USER_CLUSTER_KUBECONFIG] é o arquivo kubeconfig do cluster de usuário.

  2. Para ativar o Prometheus e o Grafana, defina enablePrometheus como true. Para desativar o Prometheus e o Grafana, defina enablePrometheus como false:

    apiVersion: addons.k8s.io/v1alpha1
    kind: Monitoring
    metadata:
     labels:
       k8s-app: monitoring-operator
     name: monitoring-sample
     namespace: kube-system
    spec:
     channel: stable
     ...
     enablePrometheus: true
  3. Salve as alterações fechando a sessão de edição.

Problema conhecido

Nos clusters do usuário, o Prometheus e o Grafana são desativados automaticamente durante o upgrade. No entanto, os dados de configuração e métricas não são perdidos.

Para contornar esse problema, depois do upgrade, abra monitoring-sample para edição e defina enablePrometheus como true.

Como acessar métricas de monitoramento nos painéis do Grafana

O Grafana exibe métricas coletadas dos clusters. Para visualizar essas métricas, acesse os painéis do Grafana:

  1. Receba o nome do pod do Grafana em execução no namespace kube-system de um cluster de usuário:

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] -n kube-system get pods

    em que [USER_CLUSTER_KUBECONFIG] é o arquivo kubeconfig do cluster de usuário.

  2. O contêiner no pod do Grafana detecta na porta TCP 3000. Encaminhe uma porta local para a porta 3000 no pod, para visualizar os painéis do Grafana em um navegador da Web.

    Por exemplo, suponha que o nome do pod seja grafana-0. Para encaminhar a porta 50000 para a porta 3000 no pod, digite este comando:

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] -n kube-system port-forward grafana-0 50000:3000
  3. Em um navegador da Web, acesse http://localhost:50000. O Painel inicial do Grafana do cluster de usuário deve ser carregado.

  4. Para acessar outros painéis, clique no menu suspenso Página inicial no canto superior esquerdo da página.

Para um exemplo de uso do Grafana, consulte Criar um painel do Grafana.

Como acessar alertas

O Prometheus Alertmanager coleta alertas do servidor do Prometheus. É possível ver esses alertas em um painel do Grafana. Para ver os alertas, acesse o painel:

  1. O contêiner no pod alertmanager-0 detecta atividade na porta TCP 9093. Encaminhe uma porta local para a porta 9093 no pod:

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] port-forward \
       -n kube-system alertmanager-0 50001:9093
  2. Em um navegador da Web, acesse http://localhost:50001.

Como alterar a configuração do Prometheus Alertmanager

É possível alterar a configuração padrão do Prometheus Alertmanager editando o arquivo monitoring.yaml do cluster de usuário. Faça isso se quiser direcionar alertas para um destino específico, em vez de mantê-los no painel. Saiba como configurar o Alertmanager na documentação de Configuração do Prometheus.

Para alterar a configuração do Alertmanager, execute as seguintes etapas:

  1. Faça uma cópia do arquivo de manifesto monitoring.yaml do cluster de usuário:

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] -n kube-system \
       get monitoring monitoring-sample -o yaml > monitoring.yaml
  2. Para configurar o Alertmanager, faça alterações nos campos em spec.alertmanager.yml. Quando terminar, salve o manifesto alterado.

  3. Aplique o manifesto ao cluster:

    kubectl apply --kubeconfig [USER_CLUSTER_KUBECONIFG] -f monitoring.yaml

Como escalonar recursos do Prometheus

A configuração de monitoramento padrão é compatível com até cinco nós. Para clusters maiores, é possível ajustar os recursos do servidor do Prometheus. A recomendação é de 50 milhões de núcleos de CPU e 500Mi de memória por nó de cluster. Verifique se o cluster contém dois nós, cada um com recursos suficientes para caber no Prometheus. Para mais informações, consulte Como redimensionar um cluster de usuário.

Para alterar os recursos do servidor do Prometheus, execute as seguintes etapas:

  1. Faça uma cópia do arquivo de manifesto monitoring.yaml do cluster de usuário:

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] -n kube-system get monitoring monitoring-sample -o yaml > monitoring.yaml
  2. Para modificar recursos, faça alterações nos campos em spec.resourceOverride. Quando terminar, salve o manifesto alterado. Exemplo:

    spec:
      resourceOverride:
      - component: Prometheus
        resources:
          requests:
            cpu: 300m
            memory: 3000Mi
          limits:
            cpu: 300m
            memory: 3000Mi
    
  3. Aplique o manifesto ao cluster:

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] apply -f monitoring.yaml

Criar um painel do Grafana

Você implantou um aplicativo que expõe uma métrica, verificou se ela foi exposta e verificou se o Prometheus extrai a métrica. Agora é possível adicionar a métrica no nível do aplicativo a um painel personalizado do Grafana.

Para criar um painel do Grafana, siga estas etapas:

  1. Se necessário, tenha acesso ao Grafana.
  2. No Painel inicial, clique no menu suspenso Página inicial no canto superior esquerdo da página.
  3. No menu lateral direito, clique em Novo painel.
  4. Na seção Novo painel, clique em Gráfico. Um painel de gráfico vazio é exibido.
  5. Clique em Título do painel e em Editar. O painel inferior Gráfico é aberto na guia Métricas.
  6. No menu suspenso Fonte de dados, selecione usuário. Clique em Adicionar consulta e insira foo no campo pesquisa.
  7. Clique no botão Voltar ao painel no canto superior direito da tela. O painel é exibido.
  8. Para salvar o painel, clique em Salvar painel no canto superior direito da tela. Escolha um nome para o painel e clique em Salvar.

Como desativar o monitoramento no cluster

Para desativar o monitoramento no cluster, reverta as alterações feitas no objeto monitoring-sample:

  1. Abra o objeto monitoring-sample para edição:

    kubectl --kubeconfig USER_CLUSTER_KUBECONFIG edit \
       monitoring monitoring-sample --namespace kube-system

    Substitua USER_CLUSTER_KUBECONFIG pelo arquivo kubeconfig do cluster de usuário.

  2. Para desativar o Prometheus e o Grafana, defina enablePrometheus como false:

       apiVersion: addons.k8s.io/v1alpha1
       kind: Monitoring
       metadata:
         labels:
           k8s-app: monitoring-operator
         name: monitoring-sample
         namespace: kube-system
       spec:
         channel: stable
         ...
         enablePrometheus: false
    
  3. Salve as alterações fechando a sessão de edição.

  4. Confirme se os statefulsets prometheus-0, prometheus-1 e grafana-0 foram excluídos:

    kubectl --kubeconfig USER_CLUSTER_KUBECONFIG get pods --namespace kube-system

Exemplo: como adicionar métricas no nível do aplicativo a um painel do Grafana

As seções a seguir explicam como adicionar métricas para um aplicativo. Nesta seção, você concluirá as seguintes tarefas:

  • Implantar um aplicativo de exemplo que exponha uma métrica chamada foo.
  • Verificar se o Prometheus expõe e extrai a métrica.
  • Criar um painel personalizado do Grafana.

Implantar o aplicativo de exemplo

O aplicativo de exemplo é executado em um único pod. O contêiner do pod expõe uma métrica, foo, com um valor constante de 40.

Crie o seguinte manifesto do pod, pro-pod.yaml:

apiVersion: v1
kind: Pod
metadata:
  name: prometheus-example
  annotations:
    prometheus.io/scrape: 'true'
    prometheus.io/port: '8080'
    prometheus.io/path: '/metrics'
spec:
  containers:
  - image: k8s.gcr.io/prometheus-dummy-exporter:v0.1.0
    name: prometheus-example
    command:
    - /bin/sh
    - -c
    - ./prometheus_dummy_exporter --metric-name=foo --metric-value=40 --port=8080

Em seguida, aplique o manifesto do pod ao cluster de usuário:

kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] apply -f pro-pod.yaml

Verificar se a métrica foi exposta e extraída

  1. O contêiner no pod prometheus-example detecta atividade na porta TCP 8080. Encaminhe uma porta local para a porta 8080 no pod:

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] port-forward prometheus-example 50002:8080
  2. Para verificar se o aplicativo expõe a métrica, execute o seguinte comando:

    curl localhost:50002/metrics | grep foo
    

    O comando retorna a seguinte saída:

    # HELP foo Custom metric
    # TYPE foo gauge
    foo 40
  3. O contêiner no pod prometheus-0 detecta atividade na porta TCP 9090. Encaminhe uma porta local para a porta 9090 no pod:

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] port-forward prometheus-0 50003:9090
  4. Para verificar se o Prometheus está extraindo a métrica, acesse http://localhost:50003/targets, que levará você ao pod prometheus-0 no grupo de destino prometheus-io-pods.

  5. Para visualizar métricas no Prometheus, acesse http://localhost:50003/graph. No campo pesquisa, digite foo e clique em Executar. A página deve exibir a métrica.