Cloud Composer의 알려진 문제

이 페이지에는 Cloud Composer의 알려진 문제가 나와 있습니다. 이러한 문제의 수정은 현재 진행 중이며 향후 버전에서 제공될 예정입니다. 일부 문제는 이전 버전에 영향을 미치며 환경을 업그레이드하여 해결할 수 있습니다.

RFC 1918 이외의 주소 범위는 Pod 및 서비스에 부분적으로 지원됩니다.

Cloud Composer는 GKE에 의존하여 Pod 및 서비스에 비RFC 1918 주소를 지원합니다. 현재 Cloud Composer에서 RFC 1918 이외의 범위 목록만 지원됩니다.

  • 100.64.0.0/10
  • 192.0.0.0/24
  • 192.0.2.0/24
  • 192.88.99.0/24
  • 198.18.0.0/15
  • 198.51.100.0/24
  • 203.0.113.0/24
  • 240.0.0.0/4

Composer 1.10.2 및 Composer 1.10.3에서 DAG 직렬화가 사용 설정된 경우 Airflow UI에 작업 로그가 표시되지 않습니다.

Composer 버전 1.10.2 및 1.10.3을 사용하는 환경에서 DAG 직렬화를 사용 설정하면 로그가 Airflow 웹 서버에 표시되지 않습니다. 이 문제를 해결하려면 버전 1.10.4 이상으로 업그레이드하세요.

GKE 워크로드 아이덴티티는 지원되지 않습니다.

Cloud Composer GKE 클러스터에는 워크로드 아이덴티티를 사용 설정할 수 없습니다. 따라서 Security Command Center에 WORKLOAD_IDENTITY_DISABLED 결과가 표시될 수 있습니다.

GKE Pod 보안 정책은 지원되지 않습니다.

Cloud Composer GKE 클러스터에는 GKE Pod 보안 정책을 사용 설정할 수 없습니다. 따라서 Security Command Center에 POD_SECURITY_POLICY_DISABLED 결과가 표시될 수 있습니다.

업데이트 중에 추가된 환경 라벨은 Cloud Composer 종속 항목에 완전히 반영되지 않습니다.

업데이트된 라벨은 Cloud Storage 버킷, Pub/Sub 주제, Compute Engine VM에 적용되지 않습니다. 이 문제를 해결하기 위해 앞서 언급한 리소스에 라벨을 수동으로 적용할 수 있습니다.

CVE-2020-14386 문제와 관련하여 GKE 업그레이드

Google에서는 모든 Cloud Composer 환경의 취약점을 해결하기 위해 노력하고 있습니다. 이 수정사항의 일환으로 기존의 모든 Cloud Composer의 GKE 클러스터가 새 버전으로 업데이트됩니다.

취약점을 즉시 해결하고자 하는 고객은 다음 고려사항에 대한 안내에 따라 Composer GKE 클러스터를 업그레이드할 수 있습니다.

1단계: 1.7.2 이전 버전의 Cloud Composer를 사용하는 경우 Cloud Composer의 최신 버전으로 업그레이드합니다. 버전 1.7.2 이상을 이미 사용 중이면 다음 단계로 이동합니다.

2단계: GKE 클러스터(마스터 및 노드)를 이 취약점에 대한 수정사항이 포함된 최신 1.15 패치 버전으로 업그레이드합니다.

Airflow 1.9.0에서 Airflow 1.10.x로 업그레이드한 뒤에는 Airflow 웹 서버에서 Airflow 작업 로그를 사용할 수 없습니다.

Airflow 1.10.x는 로그 파일의 이름 지정 규칙에 이전 버전과 호환되지 않는 변경사항을 도입했습니다. 이제 영역 정보가 Airflow 작업의 로그 이름에 추가됩니다.

Airflow 1.9.0은 로그 이름을 BUCKET/logs/DAG/2020-03-30T10:29:06/1.log 같은 형식으로 저장하고 예상합니다. Airflow 1.10.x는 로그 이름을 BUCKET/logs/DAG/2020-03-30T10:29:06+00:00/1.log 형식으로 저장하고 추정합니다.

따라서 Airflow 1.9.0에서 Airflow 1.10.x로 업그레이드하고 Airflow 1.9.0으로 실행되는 작업의 로그를 읽으려고 하면 Airflow 웹 서버에 다음과 같은 오류 메시지가 표시됩니다. Unable to read remote log from BUCKET/logs/DAG/2020-03-30T10:29:06+00:00/1.log

해결 방법: Cloud Storage 버킷에서 Airflow 1.9.0에서 생성한 로그의 이름을 BUCKET/logs/DAG/2020-03-30T10:29:06+00:00/1.log 형식을 사용하여 바꿉니다.

조직 정책 제약조건/compute.disableSerialPortLogging이 적용된 상태에서 Cloud Composer 환경을 만들 수 없습니다.

대상 프로젝트에 constraints/compute.disableSerialPortLogging이 적용되면 Cloud Composer 환경 생성이 실패합니다.

진단

이 문제의 영향을 받는지 확인하려면 다음 절차를 따르세요.

Cloud Console에서 GKE 메뉴로 이동합니다. GKE 메뉴로 이동

그런 다음 새로 만든 클러스터를 선택합니다. 다음 오류를 확인합니다.

Not all instances running in IGM after 123.45s.
Expect <number of desired instances in IGM>. Current errors:

Constraint constraints/compute.disableSerialPortLogging violated for
project <target project number>.

해결 방법:

  1. Cloud Composer 환경이 생성될 프로젝트에서 조직 정책을 사용 중지합니다.

    조직 정책은 상위 리소스(조직 또는 폴더)에서 사용 설정되었더라도 프로젝트 수준에서 언제든지 사용 중지할 수 있습니다. 자세한 내용은 부울 제약조건에 대한 정책 맞춤설정을 참조하세요.

  2. 제외 필터 사용

    직렬 포트 로그에 제외 필터를 사용하면 Logging에 직렬 콘솔 로그가 있으므로 조직 정책 사용 중지와 동일한 목표를 달성합니다. 자세한 내용은 제외 필터 페이지를 참조하세요.

Deployment Manager를 사용하여 VPC 서비스 제어로 보호되는 GCP 리소스 관리

Composer는 Deployment Manager를 사용하여 Cloud Composer 환경의 구성요소를 만듭니다.

2020년 12월에 Deployment Manager를 사용하여 VPC 서비스 제어로 보호되는 리소스를 관리하려면 VPC 서비스 제어 구성을 추가로 수행해야 할 수 있다는 정보가 수신되었을 수 있습니다.

Composer를 사용하며 Deployment Manager의 공지에 언급된 GCP 리소스를 관리하기 위해 Deployment Manager를 직접 사용하지 않는 경우에는 별도의 조치가 필요하지 않습니다.