Neste documento, descrevemos como configurar a implantação do Google Kubernetes Engine para usar o Google Cloud Managed Service para Prometheus a fim de coletar métricas do exportador do Flink. Esta página mostra como fazer o seguinte:
- Configurar o exportador do Flink para gerar relatórios de métricas.
- Configurar um recurso PodMonitoring para o serviço gerenciado para Prometheus a fim de coletar as métricas exportadas.
- Instalar um painel no Cloud Monitoring para ver as métricas.
- Configure regras de alertas para monitorar as métricas.
Estas instruções se aplicam somente ao usar a coleção gerenciada com o serviço gerenciado para Prometheus. Se você estiver usando a coleção autoimplantada, consulte a documentação do Flink para ver informações da instalação.
Estas instruções são um exemplo e devem funcionar na maioria dos ambientes do Kubernetes. Se você estiver com problemas para instalar um aplicativo ou exportador devido a políticas restritivas de segurança ou da organização, recomendamos consultar a documentação de código aberto para receber suporte.
Para mais informações sobre o Flink, consulte Apache Flink.
Pré-requisitos
Para coletar métricas do exportador do Flink usando o Managed Service para Prometheus e a coleção gerenciada, sua implantação precisa atender aos seguintes requisitos:
- Seu cluster precisa executar a versão 1.21.4-gke.300 ou posterior do Google Kubernetes Engine.
- É necessário executar o Managed Service para Prometheus com a coleta gerenciada ativada. Para mais informações, consulte Começar a usar a coleta gerenciada.
- Para usar os painéis disponíveis no Cloud Monitoring para a integração do Flink, use a versão 1.17 ou posterior do
flink
.Para mais informações sobre os painéis disponíveis, consulte Visualizar painéis.
metrics.reporter.prom.factory.class: org.apache.flink.metrics.prometheus.PrometheusReporterFactory
.
Se você implantou o Flink com os manifestos de primeiros passos oficiais, adicione esta nova opção ao ConfigMap:
apiVersion: v1 kind: ConfigMap metadata: name: flink-config labels: app: flink data: flink-conf.yaml: |+ ... + metrics.reporter.prom.factory.class: org.apache.flink.metrics.prometheus.PrometheusReporterFactory
Se você implantou o Flink com o operador oficial,
adicione esta nova opção ao campo spec.flinkConfiguration
do FlinkDeployment:
apiVersion: flink.apache.org/v1beta1 kind: FlinkDeployment metadata: name: basic-example spec: image: flink:1.17 flinkVersion: v1_17 flinkConfiguration: taskmanager.numberOfTaskSlots: "2" + metrics.reporter.prom.factory.class: org.apache.flink.metrics.prometheus.PrometheusReporterFactory
Como alternativa, especifique o repórter do Prometheus como uma opção padrão na configuração do operador Flink.
Para verificar se o exportador do Jenkins está emitindo métricas nos endpoints esperados, faça o seguinte:
Configure o encaminhamento de portas usando o seguinte comando:
kubectl -n NAMESPACE_NAME port-forward POD_NAME 9249
Acesse o endpoint
localhost:9249/metrics
usando o navegador ou o utilitáriocurl
em outra sessão de terminal.
Definir um recurso do PodMonitoring
Para descobrir valor desejado, o operador do serviço gerenciado para Prometheus, é necessário um recurso PodMonitoring que corresponde ao exportador do Flink no mesmo namespace.
É possível usar a seguinte configuração do PodMonitoring:
Verifique se os valores dos camposport
e matchLabels
correspondem aos dos pods do Flink que você quer monitorar.
Por padrão, o Flink expõe as métricas na porta 9249 quando elas estão ativadas.
Para aplicar as alterações de configuração de um arquivo local, execute o seguinte comando:
kubectl apply -n NAMESPACE_NAME -f FILE_NAME
Também é possível usar o Terraform para gerenciar as configurações.
Definir regras e alertas
Use a configuração Rules
a seguir para definir
alertas nas suas métricas do Flink:
Para aplicar as alterações de configuração de um arquivo local, execute o seguinte comando:
kubectl apply -n NAMESPACE_NAME -f FILE_NAME
Também é possível usar o Terraform para gerenciar as configurações.
Para mais informações sobre como aplicar regras ao cluster, consulte Avaliação e alerta de regras gerenciadas.
É possível ajustar os limites de alertas conforme seu aplicativo.Verificar a configuração
Use o Metrics Explorer para verificar se você configurou corretamente o exportador do Flink. Pode levar um ou dois minutos para que o Cloud Monitoring ingira as métricas.
Para verificar se as métricas foram transferidas, faça o seguinte:
-
No Console do Google Cloud, acesse a página do leaderboard Metrics Explorer:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
- Na barra de ferramentas do painel do criador de consultas, selecione o botão code MQL ou code MQL.
- Verifique se PromQL está selecionado na opção de ativar/desativar PromQL. A alternância de idiomas está na mesma barra de ferramentas que permite formatar sua consulta.
- Digite e execute a seguinte consulta:
up{job="flink", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}
Ver painéis
A integração do Cloud Monitoring inclui painéis "Prometheus". Os painéis são instalados automaticamente ao configurar a integração. Também é possível visualizar visualizações estáticas de painéis sem instalar a integração.
Para ver um painel instalado, faça o seguinte:
-
No console do Google Cloud, acesse a página Painéis:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
- Selecione a guia Lista de painéis.
- Escolha a categoria Integrações.
- Clique no nome do painel que você quer visualizar.
Para acessar uma visualização estática do painel, faça o seguinte:
-
No console do Google Cloud, acesse a página Integrações:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
- Clique no filtro de plataforma de implantação do Kubernetes Engine.
- Localize a integração do Apache Flink e clique em Visualizar detalhes.
- Selecione a guia Painéis.
Solução de problemas
Para resolver problemas de transferências de métricas, consulte Problemas com a coleta de exportadores em Resolver problemas no processamento.