Apache Flink

Neste documento, descrevemos como configurar a implantação do Google Kubernetes Engine para usar o Google Cloud Managed Service para Prometheus a fim de coletar métricas do exportador do Flink. Esta página mostra como fazer o seguinte:

Configurar o exportador do Flink para gerar relatórios de métricas.
Configurar um recurso PodMonitoring para o serviço gerenciado para Prometheus a fim de coletar as métricas exportadas.
Instalar um painel no Cloud Monitoring para ver as métricas.
Configure regras de alertas para monitorar as métricas.

Estas instruções se aplicam somente ao usar a coleção gerenciada com o serviço gerenciado para Prometheus. Se você estiver usando a coleção autoimplantada, consulte a documentação do Flink para ver informações da instalação.

Estas instruções são um exemplo e devem funcionar na maioria dos ambientes do Kubernetes. Se você estiver com problemas para instalar um aplicativo ou exportador devido a políticas restritivas de segurança ou da organização, recomendamos consultar a documentação de código aberto para receber suporte.

Para mais informações sobre o Flink, consulte Apache Flink.

Pré-requisitos

Para coletar métricas do exportador do Flink usando o Managed Service para Prometheus e a coleção gerenciada, sua implantação precisa atender aos seguintes requisitos:

Seu cluster precisa executar a versão 1.21.4-gke.300 ou posterior do Google Kubernetes Engine.
É necessário executar o Managed Service para Prometheus com a coleta gerenciada ativada. Para mais informações, consulte Começar a usar a coleta gerenciada.
Para usar os painéis disponíveis no Cloud Monitoring para a integração do Flink, use a versão 1.17 ou posterior do flink.
Para mais informações sobre os painéis disponíveis, consulte Visualizar painéis.

O Flink expõe métricas no formato do Prometheus quando configurado com metrics.reporter.prom.factory.class: org.apache.flink.metrics.prometheus.PrometheusReporterFactory.

Se você implantou o Flink com os manifestos de primeiros passos oficiais, adicione esta nova opção ao ConfigMap:

  apiVersion: v1
  kind: ConfigMap
  metadata:
    name: flink-config
    labels:
      app: flink
  data:
    flink-conf.yaml: |+
      ...
  +   metrics.reporter.prom.factory.class: org.apache.flink.metrics.prometheus.PrometheusReporterFactory

Se você implantou o Flink com o operador oficial, adicione esta nova opção ao campo spec.flinkConfiguration do FlinkDeployment:

  apiVersion: flink.apache.org/v1beta1
  kind: FlinkDeployment
  metadata:
    name: basic-example
  spec:
    image: flink:1.17
    flinkVersion: v1_17
    flinkConfiguration:
      taskmanager.numberOfTaskSlots: "2"
  +   metrics.reporter.prom.factory.class: org.apache.flink.metrics.prometheus.PrometheusReporterFactory

Como alternativa, especifique o repórter do Prometheus como uma opção padrão na configuração do operador Flink.

Para verificar se o exportador do Jenkins está emitindo métricas nos endpoints esperados, faça o seguinte:

Configure o encaminhamento de portas usando o seguinte comando:
```
kubectl -n NAMESPACE_NAME port-forward POD_NAME 9249
```
Acesse o endpoint localhost:9249/metrics usando o navegador ou o utilitário curl em outra sessão de terminal.

Definir um recurso do PodMonitoring

Para descobrir valor desejado, o operador do serviço gerenciado para Prometheus, é necessário um recurso PodMonitoring que corresponde ao exportador do Flink no mesmo namespace.

É possível usar a seguinte configuração do PodMonitoring:

# Copyright 2024 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: flink
  labels:
    app.kubernetes.io/name: flink
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: 9249
    scheme: http
    interval: 30s
    path: /metrics
  selector:
    matchLabels:
      app.kubernetes.io/name: flink

Verifique se os valores dos campos port e matchLabels correspondem aos dos pods do Flink que você quer monitorar. Por padrão, o Flink expõe as métricas na porta 9249 quando elas estão ativadas.

Para aplicar as alterações de configuração de um arquivo local, execute o seguinte comando:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Também é possível usar o Terraform para gerenciar as configurações.

Definir regras e alertas

Use a configuração Rules a seguir para definir alertas nas suas métricas do Flink:

# Copyright 2024 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: Rules
metadata:
  name: flink-rules
  labels:
    app.kubernetes.io/component: rules
    app.kubernetes.io/name: flink-rules
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  groups:
  - name: flink
    interval: 30s
    rules:
    - alert: FlinkHighJVMMemoryNonHeapUsage
      annotations:
        description: |-
          Flink high jvm memory non-heap usage
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Flink high jvm memory non-heap usage (instance {{ $labels.instance }})
      expr: (flink_jobmanager_Status_JVM_Memory_NonHeap_Used/flink_jobmanager_Status_JVM_Memory_NonHeap_Max) >= 0.9
      for: 5m
      labels:
        severity: critical
    - alert: FlinkHighJVMMemoryHeapUsage
      annotations:
        description: |-
          Flink high jvm memory heap usage
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Flink high jvm memory heap usage (instance {{ $labels.instance }})
      expr: (flink_jobmanager_Status_JVM_Memory_Heap_Used/flink_jobmanager_Status_JVM_Memory_Heap_Max) >= 0.9
      for: 5m
      labels:
        severity: warning

Para aplicar as alterações de configuração de um arquivo local, execute o seguinte comando:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Também é possível usar o Terraform para gerenciar as configurações.

Para mais informações sobre como aplicar regras ao cluster, consulte Avaliação e alerta de regras gerenciadas.

É possível ajustar os limites de alertas conforme seu aplicativo.

Verificar a configuração

Use o Metrics Explorer para verificar se você configurou corretamente o exportador do Flink. Pode levar um ou dois minutos para que o Cloud Monitoring ingira as métricas.

Para verificar se as métricas foram transferidas, faça o seguinte:

No painel de navegação do console do Google Cloud, selecione Monitoramento e Metrics Explorer:
Acesse o Metrics explorer
Na barra de ferramentas do painel do criador de consultas, selecione o botão MQL ou PromQL.
Verifique se PromQL está selecionado na opção de ativar/desativar Idioma. A alternância de idiomas está na mesma barra de ferramentas que permite formatar sua consulta.

Digite e execute a seguinte consulta:

up{job="flink", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

Ver painéis

A integração do Cloud Monitoring inclui painéis "Prometheus". Os painéis são instalados automaticamente ao configurar a integração. Também é possível visualizar visualizações estáticas de painéis sem instalar a integração.

Para ver um painel instalado, faça o seguinte:

No painel de navegação do console do Google Cloud, selecione Monitoramento e Painéis:
Ir para Painéis
Selecione a guia Lista de painéis.
Escolha a categoria Integrações.
Clique no nome do painel que você quer visualizar.

Para acessar uma visualização estática do painel, faça o seguinte:

No painel de navegação do console do Google Cloud, selecione Monitoramento e Integrações:
Acessar Integrações
Clique no filtro de plataforma de implantação do Kubernetes Engine.
Localize a integração do Apache Flink e clique em Visualizar detalhes.
Selecione a guia Painéis.

Solução de problemas

Para resolver problemas de transferências de métricas, consulte Problemas com a coleta de exportadores em Resolver problemas no processamento.