Cloud Composer 1 | Cloud Composer 2
Cloud Composer でビジネス クリティカルなアプリケーションを実行するには、複数の当事者がそれぞれ異なる責任を持つ必要があります。すべてが網羅されたリストではありませんが、このドキュメントでは Google とお客様サイドの両方の責任を列挙します。
Google の責任
Cloud Composer 環境のコンポーネントと基盤となるインフラストラクチャ(Google Kubernetes Engine クラスタ、Airflow をホストする Cloud SQL データベースを含む)の強化とパッチ適用、Pub/Sub、Artifact Registry などの環境要素です。具体的には、これには、環境の GKE クラスタや Cloud SQL インスタンスなど、基盤となるインフラストラクチャの自動アップグレードが含まれます。
IAM が提供するアクセス制御を組み込むことで Cloud Composer 環境へのアクセスを保護し、デフォルトで保存データを暗号化して、追加の顧客管理のストレージを暗号化し、転送中のデータの暗号化します。
Identity and Access Management、Cloud Audit Logs、Cloud Key Management Service 向けに Google Cloud の統合を提供する。
Google が契約上のサポート目的で、お客様のクラスタに管理者権限でアクセスすることを制限し、アクセスの透明性とアクセス承認を使用してログに記録します。
Cloud Composer リリースノートで、Cloud Composer と Airflow のバージョン間の下位互換性のない変更に関する情報を公開します。
Cloud Composer のドキュメントを最新の状態に保つ:
Cloud Composer で提供されるすべての機能について説明します。
環境を正常な状態に保つためのトラブルシューティングの手順を提供します。
回避策を含む既知の問題に関する情報を公開します(存在する場合)。
Cloud Composer 環境と Airflow イメージに関連する重要なセキュリティ インシデント(お客様がインストールした Python パッケージを除く)を、インシデントに対処する新しい環境バージョンの配信により解決します。
お客様のサポートプランに応じて、Cloud Composer 環境の健全性に関する問題のトラブルシューティングを行います。
Cloud Composer Terraform プロバイダの機能を維持および拡張します。
Apache Airflow コミュニティと協力して Google Airflow オペレーターのメンテナンスと開発を行います。
Airflow コア機能のトラブルシューティングと、可能であれば問題を修正する。
お客様の責任
Cloud Composer および Airflow の新しいバージョンにアップグレードして、プロダクトのサポートを維持し、問題に対処する Cloud Composer バージョンを Cloud Composer サービスが公開した後にセキュリティの問題を解決します。
使用する Airflow バージョンとの互換性を維持するために DAG コードを維持します。
環境の GKE クラスタ構成をそのまま維持する(特に自動アップグレード機能を含む)。
環境のサービス アカウントに対して IAM で適切な権限を維持します。特に、Cloud Composer エージェントと環境のサービス アカウントに必要な権限を保持します。Cloud Composer 環境の暗号化に使用される CMEK 鍵に必要な権限を維持し、必要に応じてローテーションします。
IAM と Airflow UI のアクセス制御構成で適切なエンドユーザー権限を維持すること。
メンテナンス DAG を使用して、Airflow データベースのサイズを 16 GB 未満に保つ。
サポートケースを Cloud カスタマーケアに提出する前に、DAG の解析に関するすべての問題を解決する。
Cloud Composer 最適化ガイドと環境スケーリング ガイドを使用して、Cloud Composer 環境のパフォーマンスと負荷の想定に合わせて、Cloud Composer 環境パラメータ(Airflow コンポーネントの CPU やメモリなど)と Airflow 構成を調整します。
Cloud Composer エージェントと環境のサービス アカウントに必要な権限の削除を回避する(これらの権限を削除すると、管理オペレーションの失敗や DAG とタスクの失敗が発生する可能性があります)。
Cloud Composer に必要なすべてのサービスと API を常に有効にしておきます。これらの依存関係には、Cloud Composer に必要なレベルで割り当てを構成する必要があります。
Cloud Composer 環境で使用されるコンテナ イメージをホストする Artifact Registry リポジトリを保持します。
DAG を実装するための推奨事項とベスト プラクティスに従う。
スケジューラのトラブルシューティング、DAG のトラブルシューティング、トリガーのトラブルシューティングの手順を使用して、DAG とタスクの障害を診断します。
Cloud Composer コンポーネントに干渉する環境の GKE クラスタに追加のコンポーネントをインストールまたは実行することを回避し、正しく機能しないようにします。