Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Cloud Composer でビジネス クリティカルなアプリケーションを実行するには、複数の当事者がそれぞれ異なる責任を果たす必要があります。すべてが網羅されたリストではありませんが、このドキュメントでは Google とお客様サイドの両方の責任を列挙します。
Google の責任
Cloud Composer 環境のコンポーネントと基盤となるインフラストラクチャ(Google Kubernetes Engine クラスタ、Airflow をホストする Cloud SQL データベースを含む)の強化とパッチ適用、Pub/Sub、Artifact Registry などの環境要素です。特に、環境の GKE クラスタや Cloud SQL インスタンスなど、基盤となるインフラストラクチャの自動アップグレードも含まれます。
IAM が提供するアクセス制御を組み込むことで Cloud Composer 環境へのアクセスを保護し、デフォルトで保存データを暗号化して、追加の顧客管理のストレージを暗号化し、転送中のデータの暗号化します。
Identity and Access Management、Cloud Audit Logs、Cloud Key Management Service と Google Cloud を統合します。
Google が契約上のサポート目的で、お客様のクラスタに管理者権限でアクセスすることを制限し、アクセスの透明性とアクセス承認を使用してログに記録します。
Cloud Composer リリースノートで、Cloud Composer と Airflow のバージョン間の下位互換性のない変更に関する情報を公開しています。
Cloud Composer ドキュメントを最新の状態に保ちます。
Cloud Composer が提供するすべての機能の説明を提供します。
環境を正常な状態に保つためのトラブルシューティングの手順を提供します。
回避策を含む既知の問題に関する情報を公開します(存在する場合)。
Cloud Composer 環境と Airflow イメージに関連する重要なセキュリティ インシデント(お客様がインストールした Python パッケージを除く)を、インシデントに対処する新しい環境バージョンの配信により解決します。
お客様のサポートプランに応じて、Cloud Composer 環境の健全性に関する問題のトラブルシューティングを行います。
Cloud Composer Terraform プロバイダの機能を維持および拡張します。
Apache Airflow コミュニティと協力して Google Airflow オペレーターのメンテナンスと開発を行います。
Airflow コア機能のトラブルシューティングと、可能であれば問題を修正します。
お客様の責任
Cloud Composer サービスが問題に対処する Cloud Composer バージョンを公開したら、プロダクトのサポートを維持し、セキュリティの問題を解決するために、新しい Cloud Composer および Airflow バージョンにアップグレードします。
使用している Airflow バージョンとの互換性を維持するために、DAG コードを管理します。
環境の GKE クラスタ構成をそのまま維持します(特に自動アップグレード機能を含む)。
環境のサービス アカウントに対して IAM で適切な権限を維持します。特に、Cloud Composer エージェントと環境のサービス アカウントに必要な権限を保持します。Cloud Composer 環境の暗号化に使用される CMEK 鍵に対して必要な権限を維持し、必要に応じてローテーションします。
Composer のコンポーネント イメージが保存されている環境のバケットと Artifact Registry リポジトリに対する IAM の適切な権限を維持します。
IAM と Airflow UI のアクセス制御構成で適切なエンドユーザー権限を維持します。
メンテナンス DAG を使用して、Airflow データベースのサイズを 16 GB 未満に保ちます。
サポートケースを Cloud カスタマーケアに提出する前に、DAG の解析に関するすべての問題を解決します。
Cloud Composer 最適化ガイドと環境スケーリング ガイドを使用して、Cloud Composer 環境のパフォーマンスと負荷の想定に合わせて、Cloud Composer 環境パラメータ(Airflow コンポーネントの CPU やメモリなど)と Airflow 構成を調整します。
Cloud Composer エージェントと環境のサービス アカウントに必要な権限の削除を回避します(これらの権限を削除すると、管理オペレーションの失敗や DAG とタスクの失敗が発生する可能性があります)。
Cloud Composer に必要なすべてのサービスと API を常に有効に保ちます。これらの依存関係には、Cloud Composer に必要なレベルで割り当てが構成されている必要があります。
Cloud Composer 環境で使用されるコンテナ イメージをホストする Artifact Registry リポジトリを保持します。
DAG を実装するための推奨事項とベスト プラクティスに従います。
スケジューラのトラブルシューティング、DAG のトラブルシューティング、トリガーのトラブルシューティングの手順を使用して、DAG とタスクの障害を診断します。
環境の GKE クラスタに、Cloud Composer コンポーネントと干渉して正常に機能しなくなる追加コンポーネントをインストールまたは実行しないようにします。