Cloud Composer 공유 책임 모델

Cloud Composer 1 | Cloud Composer 2

Cloud Composer에서 비즈니스에 중요한 애플리케이션을 실행하려면 여러 당사자가 다양한 책임을 져야 합니다. 이 문서에는 전체 목록은 아니지만 Google과 고객 측 책임이 나와 있습니다.

Google의 책임

  • Google Kubernetes Engine 클러스터, Cloud SQL 데이터베이스(Airflow를 호스팅), Pub/Sub, Artifact Registry, 기타 환경 요소를 포함하여 Cloud Composer 환경의 구성요소 및 기본 인프라를 강화 및 패치합니다. 특히 여기에는 환경의 GKE 클러스터 및 Cloud SQL 인스턴스를 포함한 기본 인프라 자동 업그레이드가 포함됩니다.

  • IAM에서 제공하는 액세스 제어 통합, 기본적으로 저장 데이터를 암호화, 추가 고객 관리 스토리지 암호화 제공, 전송 중 데이터 암호화를 통해 Cloud Composer 환경에 대한 액세스를 보호합니다.

  • Identity and Access Management, Cloud 감사 로그, Cloud Key Management Service를 위한 Google Cloud 통합을 제공합니다.

  • 계약 상의 지원을 목적으로 액세스 투명성 및 액세스 승인을 사용하여 고객 클러스터에 대한 Google 관리 액세스를 제한하고 로깅합니다.

  • Cloud Composer 출시 노트에서 Cloud Composer와 Airflow 버전 간의 이전 버전과 호환되지 않는 변경사항에 대한 정보를 게시합니다.

  • Cloud Composer 문서를 최신 상태로 유지합니다.

    • Cloud Composer에서 제공되는 모든 기능에 대한 설명을 제공합니다.

    • 환경을 정상 상태로 유지하는 데 도움이 되는 문제 해결 안내를 제공합니다.

    • 알려진 문제와 해결 방법에 대한 정보를 게시합니다(있는 경우).

  • 이슈를 해결하는 새로운 환경 버전을 제공하여 Cloud Composer에서 제공하는 Cloud Composer 환경 및 Airflow 이미지와 관련된 중요한 보안 이슈를 해결합니다(고객 설치 Python 패키지 제외).

  • 고객의 지원 요금제에 따라 Cloud Composer 환경 상태 문제를 해결합니다.

  • Cloud Composer Terraform 제공업체의 기능을 유지보수 및 확장합니다.

  • Apache Airflow 커뮤니티와 협력하여 Google Airflow 연산자를 유지관리하고 개발합니다.

  • Airflow 핵심 기능의 문제를 해결하고 가능한 경우 문제를 수정합니다.

고객의 책임

  • Cloud Composer 서비스에서 문제를 해결하는 Cloud Composer 버전을 게시한 후 제품 지원이 유지되고 보안 문제가 해결되도록 새로운 Cloud Composer 및 Airflow 버전으로 업그레이드합니다.

  • 사용된 Airflow 버전과 호환되도록 DAG 코드를 유지보수합니다.

  • 자동 업그레이드 기능을 포함하여 환경의 GKE 클러스터 구성을 그대로 유지합니다.

  • 환경 서비스 계정에 대해 IAM에서 적절한 권한을 유지합니다. 특히 Cloud Composer 에이전트 및 환경의 서비스 계정에 필요한 권한을 유지합니다. Cloud Composer 환경 암호화에 사용되는 CMEK 키에 필요한 권한을 유지보수하고 필요에 따라 순환할 수 있습니다.

  • IAM 및 Airflow UI 액세스 제어 구성에서 적절한 최종 사용자 권한을 유지보수합니다.

  • 유지보수 DAG를 사용하여 Airflow 데이터베이스 크기를 16GB 미만으로 유지합니다.

  • Cloud Customer Care에 지원 케이스를 제기하기 전에 모든 DAG 파싱 문제를 해결합니다.

  • Cloud Composer 최적화 가이드 및 환경 확장 가이드를 사용하여 Cloud Composer 환경의 성능 및 로드 기대치를 충족하도록 Cloud Composer 환경 매개변수(예: Airflow 구성요소의 CPU 및 메모리) 및 Airflow 구성을 조정합니다.

  • Cloud Composer 에이전트 및 환경의 서비스 계정에 필요한 권한을 삭제하지 않습니다. 이러한 권한을 삭제하면 관리 작업 실패 또는 DAG 및 작업 실패가 발생할 수 있습니다.

  • Cloud Composer에서 요구하는 모든 서비스와 API를 항상 사용 설정 상태로 유지합니다. 이러한 종속 항목은 Cloud Composer에 필요한 수준으로 구성된 할당량을 가져야 합니다.

  • Cloud Composer 환경에서 사용하는 컨테이너 이미지를 호스팅하는 Artifact Registry 저장소를 유지합니다.

  • DAG 구현을 위한추천 및 권장사항을 따릅니다.

  • 스케줄러 문제 해결, DAG 문제 해결, 트리거 문제 해결의 안내에 따라 DAG 및 태스크 실패를 진단합니다.

  • Cloud Composer 구성요소를 방해하고 올바르게 작동하지 못하게 하는 환경의 GKE 클러스터에서 추가 구성요소를 설치하거나 실행하지 않아야 합니다.

다음 단계