Apache Airflow

Neste documento, descrevemos como configurar a implantação do Google Kubernetes Engine para usar o Google Cloud Managed Service para Prometheus a fim de coletar métricas do StatsD. Esta página mostra como fazer o seguinte:

Configure o StatsD para gerar relatórios de métricas.
Configurar um recurso PodMonitoring para o serviço gerenciado para Prometheus a fim de coletar as métricas exportadas.
Instalar um painel no Cloud Monitoring para ver as métricas.
Configure regras de alertas para monitorar as métricas.

Estas instruções se aplicam somente ao usar a coleção gerenciada com o serviço gerenciado para Prometheus. Se você estiver usando a coleção autoimplantada, consulte a documentação do Airflow para ver informações da instalação.

Estas instruções são um exemplo e devem funcionar na maioria dos ambientes do Kubernetes. Se você estiver com problemas para instalar um aplicativo ou exportador devido a políticas restritivas de segurança ou da organização, recomendamos consultar a documentação de código aberto para receber suporte.

Para mais informações sobre o Airflow, consulte Airflow.

Pré-requisitos

Para coletar métricas do StatsD usando o Managed Service para Prometheus e a coleção gerenciada, sua implantação precisa atender aos seguintes requisitos:

Seu cluster precisa executar a versão 1.21.4-gke.300 ou posterior do Google Kubernetes Engine.
É necessário executar o Managed Service para Prometheus com a coleta gerenciada ativada. Para mais informações, consulte Começar a usar a coleta gerenciada.

O gráfico do Helm oficial do Airflow inclui uma implantação do StatsD que expõe automaticamente as métricas no formato do Prometheus.

Para verificar se o StatsD está emitindo métricas nos endpoints esperados, faça o seguinte:

Configure o encaminhamento de portas usando o seguinte comando:

kubectl -n NAMESPACE_NAME port-forward deploy/AIRFLOW_RELEASE_NAME-statsd 9102

Acesse o endpoint localhost:9102/metrics usando o navegador ou o utilitário curl em outra sessão de terminal.

Definir um recurso do PodMonitoring

Para descobrir o destino, o operador do Managed Service para Prometheus requer um recurso PodMonitoring que corresponde ao exportador do Airflow no mesmo namespace.

É possível usar a seguinte configuração do PodMonitoring:

# Copyright 2022 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: airflow
  labels:
    app.kubernetes.io/name: airflow
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: 9102
    scheme: http
    interval: 30s
    path: /metrics
  selector:
    matchLabels:
      tier: airflow
      component: statsd
      release: airflow

Verifique se os valores dos campos port e matchLabels correspondem aos dos pods do StatsD que você quer monitorar. Os rótulos e os valores mostrados aqui são definidos por padrão quando o Airflow é implantado com o Helm.

Para aplicar as alterações de configuração de um arquivo local, execute o seguinte comando:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Também é possível usar o Terraform para gerenciar as configurações.

Definir regras e alertas

Use a configuração Rules a seguir para definir alertas nas métricas do Memcached:

# Copyright 2022 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: Rules
metadata:
  name: airflow-rules
  labels:
    app.kubernetes.io/component: rules
    app.kubernetes.io/name: airflow-rules
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  groups:
  - name: airflow
    interval: 30s
    rules:
    - alert: AirflowDAGImportErrors
      annotations:
        description: |-
          Airflow dag import errors
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Airflow dag import errors (instance {{ $labels.instance }})
      expr: airflow_dag_processing_import_errors > 0
      for: 5m
      labels:
        severity: critical

Para aplicar as alterações de configuração de um arquivo local, execute o seguinte comando:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Também é possível usar o Terraform para gerenciar as configurações.

Para mais informações sobre como aplicar regras ao cluster, consulte Avaliação e alerta de regras gerenciadas.

É possível ajustar os limites de alertas conforme seu aplicativo.

Verificar a configuração

Use o Metrics Explorer para verificar se você configurou corretamente o exportador do Airflow. Pode levar um ou dois minutos para que o Cloud Monitoring ingira as métricas.

Para verificar se as métricas foram transferidas, faça o seguinte:

No Console do Google Cloud, acesse a página do Metrics Explorer:
Acesse o Metrics explorer

Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
Na barra de ferramentas do painel do criador de consultas, selecione o botão MQL ou PromQL.
Verifique se PromQL está selecionado na opção de ativar/desativar PromQL. A alternância de idiomas está na mesma barra de ferramentas que permite formatar sua consulta.

Digite e execute a seguinte consulta:

up{job="airflow", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

Ver painéis

A integração do Cloud Monitoring inclui o painel Visão geral do Airflow Prometheus. Os painéis são instalados automaticamente ao configurar a integração. Também é possível visualizar visualizações estáticas de painéis sem instalar a integração.

Para ver um painel instalado, faça o seguinte:

No console do Google Cloud, acesse a página Painéis:
Ir para Painéis

Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
Selecione a guia Lista de painéis.
Escolha a categoria Integrações.
Clique no nome do painel, por exemplo, Visão geral do Airflow Prometheus.

Para acessar uma visualização estática do painel, faça o seguinte:

No console do Google Cloud, acesse a página Integrações:
Acessar Integrações

Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
Clique no filtro de plataforma de implantação do Kubernetes Engine.
Localize a integração do Apache Airflow e clique em Visualizar detalhes.
Selecione a guia Painéis.

Solução de problemas

Para resolver problemas de transferências de métricas, consulte Problemas com a coleta de exportadores em Resolver problemas no processamento.