Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Nesta página, descrevemos quais dados do seu ambiente o Cloud Composer armazena no Cloud Storage.
Quando você cria um ambiente, um bucket do Cloud Storage gerado pelo Cloud Composer é associado a ele. O nome do bucket é baseado na região, no nome e em um ID aleatório do ambiente, como us-central1-b1-6efabcde-bucket.
O Cloud Composer sincroniza pastas específicas no bucket do ambiente com os componentes do Airflow que são executados no ambiente. Por exemplo, quando você atualiza um arquivo com o código do DAG do Airflow no bucket do ambiente, os componentes do Airflow também recebem a versão atualizada. O Cloud Composer usa o Cloud Storage FUSE para sincronização.
Pastas no bucket do Cloud Storage
| Pasta | Caminho de armazenamento | Diretório mapeado | Descrição |
|---|---|---|---|
| DAG | gs://bucket-name/dags |
/home/airflow/gcs/dags |
Armazena os DAGs do ambiente. |
| Plug-ins | gs://bucket-name/plugins |
/home/airflow/gcs/plugins |
Armazena os plug-ins personalizados, como interfaces, sensores, hooks e operadores internos do Airflow. |
| Dados | gs://bucket-name/data |
/home/airflow/gcs/data |
Armazena os dados gerados e usados pelas tarefas. |
| Registros | gs://bucket-name/logs |
/home/airflow/gcs/logs |
Armazena os registros de tarefas do Airflow. Os registros também estão disponíveis na interface da Web do Airflow e na guia Registros no console do Google Cloud. |
O Cloud Composer sincroniza as pastas dags/ e plugins/ unidirecional. Com a sincronização unidirecional, as alterações locais nessas pastas em um componente do Airflow são substituídas. As pastas data/ e logs/
são sincronizadas bidirecionalmente.
A sincronização dos dados tem consistência posterior. Para enviar mensagens de um operador para outro, use XComs (em inglês).
Observações sobre capacidade
Os dados das pastas dags/, plugins/ e data/ são sincronizados com os programadores e workers do Airflow.
O conteúdo da pasta plugins/ é sincronizado com o servidor da Web do Airflow.
Quanto mais dados são colocados nessas pastas, mais espaço é ocupado no armazenamento local dos componentes do Airflow. Salvar muitos dados em
dags/ e plugins/ pode interromper suas operações e levar a problemas como:
Um worker ou um programador fica sem armazenamento local e é removido devido à falta de espaço no disco local do componente.
A sincronização de arquivos das pastas
dags/eplugins/com workers e programadores leva muito tempo.A sincronização de arquivos de pastas
dags/eplugins/com workers e programadores se torna impossível. Por exemplo, você armazena um arquivo de 2 GB na pastadags/, mas o disco local de um worker do Airflow só pode acomodar 1 GB. Durante a sincronização, o armazenamento local do worker acaba, e a sincronização não pode ser concluída.
Pastas de DAGs e plug-ins
Para evitar falhas na execução do DAG, armazene seus DAGs, plug-ins e módulos Python nas pastas dags/ ou plugins/, mesmo que os módulos Python não contenham DAGs ou plug-ins.
Por exemplo, você usa um DataFlowPythonOperator que referencia um pipeline py_file
do Dataflow. Esse py_file não contém DAGs ou plug-ins, mas ainda é necessário armazená-lo na pasta dags/ ou plugins/.
Pasta de dados
Há cenários em que determinados arquivos da pasta data/ são sincronizados com um componente específico do Airflow. Por exemplo, quando o Cloud Composer tenta ler um determinado arquivo pela primeira vez durante:
Análise do DAG: quando um arquivo é lido pela primeira vez durante a análise do DAG, o Cloud Composer o sincroniza com o programador que analisa o DAG.
Execução do DAG: quando um arquivo é lido pela primeira vez durante a execução do DAG, o Cloud Composer o sincroniza com o worker que está executando a execução.
Os componentes do Airflow têm armazenamento local limitado. Por isso, exclua os arquivos transferidos por download para liberar espaço em disco nos seus componentes. O uso do armazenamento local também poderá aumentar temporariamente se você tiver tarefas simultâneas que fazem o download do mesmo arquivo para um único worker do Airflow.
Pasta de registros
A pasta logs/ é sincronizada dos workers do Airflow para o bucket do ambiente usando a API Cloud Storage.
A cota da API Cloud Storage é calculada pela quantidade de dados movidos. Portanto, o número de tarefas do Airflow que seu sistema executa pode aumentar o uso da API Cloud Storage: quanto mais tarefas você executar, maiores serão os arquivos de registro.
Sincronização com o servidor da Web
A pasta plugins/ é sincronizada automaticamente com o servidor da Web para que os plug-ins possam ser carregados pela interface do Airflow.