Cloud Storage に格納されるデータ

Cloud Composer 1 | Cloud Composer 2

このページでは、Cloud Composer が Cloud Storage の環境に保存するデータについて説明します。

環境を作成するときに、Cloud Composer によって Cloud Storage バケットが作成され、環境に関連付けられます。バケットの名前は、環境のリージョン、名前、およびランダムな ID(us-central1-b1-6efabcde-bucket など)に基づきます。

Cloud Composer によって、環境のバケット内の特定のフォルダが、環境内で実行される Airflow コンポーネントに同期されます。たとえば、環境バケット内で Airflow DAG のコードを含むファイルを更新すると、Airflow コンポーネントも更新されたバージョンを受け取ります。Cloud Composer では、同期に Cloud Storage FUSE を使用します。

Cloud Storage バケット内のフォルダ

フォルダ Storage パス マッピングされたディレクトリ 説明
DAG gs://bucket-name/dags /home/airflow/gcs/dags 環境の DAG を保存します。
プラグイン gs://bucket-name/plugins /home/airflow/gcs/plugins カスタム プラグインを保存します。カスタムのインハウス Airflow 演算子、フック、センサー、インターフェースなどです。
データ gs://bucket-name/data /home/airflow/gcs/data タスクが生成して使用するデータを保存します。
ログ gs://bucket-name/logs /home/airflow/gcs/logs タスクの Airflow ログを保存します。ログは、Airflow ウェブ インターフェースと Google Cloud コンソールの [ログ] タブでも確認できます。

Cloud Composer による dags/ フォルダと plugins/ フォルダの同期は一方向に行われます。一方向の同期は、Airflow コンポーネントのこれらのフォルダのローカルの変更が上書きされることを意味します。data/ フォルダと logs/ フォルダの同期は双方向で行われます。

データの同期には、結果整合性があります。1 つのオペレータから別のオペレータにメッセージを送信するには、XComs を使用します。

容量に関する考慮事項

dags/plugins/data/ のフォルダのデータは、Airflow のスケジューラとワーカーに同期されます。

plugins/ フォルダの内容は Airflow ウェブサーバーに同期されます。

これらのフォルダに格納されるデータが多いほど、Airflow コンポーネントのより多くのローカル ストレージ容量が占有されます。dags/plugins/ にデータを保存しすぎると、オペレーションが中断され、次のような問題が発生する可能性があります。

  • ワーカーまたはスケジューラのローカル ストレージが不足し、コンポーネントのローカル ディスクの容量不足によりワーカーまたはスケジューラが強制排除される

  • dags/ フォルダと plugins/ フォルダからワーカー、スケジューラへのファイルの同期に時間がかかる

  • dags/ フォルダと plugins/ フォルダからワーカー、スケジューラにファイルを同期できなくなる。たとえば、2 GB のファイルを dags/ フォルダに保存しますが、Airflow ワーカーのローカル ディスクでは 1 GB しか対応できません。この場合、同期中に、ワーカーのローカル ストレージが不足し、同期を完了できません。

DAG とプラグイン フォルダ

DAG の実行エラーを回避するために、Python モジュールに DAG またはプラグインが含まれていなくても、DAG、プラグイン、Python モジュールを dags/ フォルダまたは plugins/ フォルダに保存します。

たとえば、py_file Dataflow パイプラインを参照する DataFlowPythonOperator を使用します。その py_file には DAG やプラグインは含まれていませんが、dags/ または plugins/ フォルダに保存する必要があります。

データフォルダ

data/ フォルダの一部のファイルが特定の Airflow コンポーネントと同期される状況も考えられます。たとえば、以下が行われている間に Cloud Composer が特定のファイルを初めて読み込もうとすると、次のようになります。

  • DAG の解析: DAG の解析中にファイルが初めて読み取られると、Cloud Composer は DAG を解析するスケジューラとファイルを同期します。

  • DAG の実行: DAG の実行中にファイルが初めて読み取られると、Cloud Composer はその実行を行っているワーカーとファイルを同期します。

Airflow コンポーネントはローカル ストレージが制限されているため、コンポーネントのディスク容量を解放するために、ダウンロードしたファイルを削除することを検討してください。同じファイルを 1 つの Airflow ワーカーにダウンロードする同時タスクがある場合、ローカル ストレージの使用量も一時的に増加する場合があります。

ログフォルダ

logs/ フォルダは、Cloud Storage API を使用して Airflow ワーカーから環境のバケットに同期されます。

Cloud Storage API の割り当ては移動したデータの量によって計算されるため、システムが実行する Airflow タスクの数によって Cloud Storage API の使用量が増加する可能性があります。実行するタスクが多いほど、ログファイルが大きくなります。

ウェブサーバーとの同期

plugins/ フォルダは、ウェブサーバーに自動的に同期されるため、Airflow UI でプラグインを読み込むことができます。Cloud Composer 3 では、環境のバケットからファイルを削除せずに、オンデマンドでウェブサーバー プラグインを無効または有効にすることができます。

次のステップ