VPC 서비스 제어를 구성합니다.

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

VPC 서비스 제어를 사용하면 조직에서 Google Cloud 리소스 주위에 경계를 정의하여 데이터 무단 반출 위험을 완화할 수 있습니다.

Cloud Composer 환경은 서비스 경계 내에 배포될 수 있습니다. VPC 서비스 제어로 환경을 구성하면 Cloud Composer의 완전 관리형 워크플로 조정 기능을 활용하면서 민감한 정보를 비공개로 유지할 수 있습니다.

Cloud Composer에 대한 VPC 서비스 제어 지원은 다음을 의미합니다.

• 이제 VPC 서비스 제어 경계 내에서 보안 서비스로 Cloud Composer를 선택할 수 있습니다.
• Cloud Composer에서 사용하는 모든 기본 리소스는 VPC 서비스 제어 아키텍처를 지원하고 해당 규칙을 따르도록 구성됩니다.

VPC 서비스 제어를 사용하여 Cloud Composer 환경을 배포하면 다음 이점을 얻을 수 있습니다.

• 데이터 무단 반출 위험 감소
• 잘못 구성된 액세스 제어로 인한 데이터 노출 방지
• 악의적인 사용자가 승인되지 않은 Google Cloud 리소스에 데이터를 복사하거나 인터넷에서 Google Cloud 리소스에 액세스하는 외부 공격자의 위험을 줄입니다.

참고: Cloud Composer가 경계로 보호되는 경우 경계 외부에 호스팅된 리소스와 직접 통신할 수 없습니다. 또한 특정 Python 종속 항목에 필요할 수 있는 공개 PyPI 저장소에 대한 직접 액세스가 방지됩니다. 자세한 내용은 아래의 PyPI 패키지 설치를 참조하세요.

VPC 서비스 제어 모드의 Airflow 웹 서버

VPC 서비스 제어 모드에서 Cloud Composer는 Airflow 웹 서버의 두 인스턴스를 실행합니다. IAP(Identity-Aware Proxy)는 이러한 인스턴스 간에 사용자 트래픽을 부하 분산합니다. Airflow 웹 서버는 '읽기 전용' 모드로 실행됩니다. 즉,

• DAG 직렬화가 사용 설정됩니다. 따라서 Airflow 웹 서버가 DAG 정의 파일을 구문 분석하지 않습니다.

• 플러그인은 웹 서버에 동기화되지 않으므로 플러그인을 사용하여 웹 서버 기능을 수정하거나 확장할 수 없습니다.

• Airflow 웹 서버는 Cloud Composer 서비스로 사전 빌드된 컨테이너 이미지를 사용합니다. 해당 환경에 PyPI 이미지를 설치해도 웹 서버 컨테이너 이미지에는 이러한 이미지가 설치되지 않습니다.

중요: 액세스 수준 구성에 관계없이 경계 외부에서 웹 서버 엔드포인트에 액세스할 수 있습니다. 네트워크 액세스 제어 목록(ACL)을 사용하여 Airflow 웹 서버 액세스를 보호하는 것이 좋습니다. 새 환경 또는 기존 환경에 대해 Airflow 웹 서버에 액세스할 수 있는 IP 범위를 지정할 수 있습니다.

서비스 경계 만들기

서비스 경계를 만들고 구성하는 방법은 서비스 경계 만들기를 참조하세요. 경계 내에 보호되는 서비스 중 하나로 Cloud Composer를 선택해야 합니다.

경계에서 환경 만들기

경계 내에 Cloud Composer를 배포하려면 몇 가지 추가 단계가 필요합니다. Cloud Composer 환경을 만드는 경우:

1. 프로젝트에 Access Context Manager API 및 Cloud Composer API를 사용 설정합니다. 자세한 내용은 API 사용 설정을 참조하세요.

2. 서비스 경계에 다음 VPC 액세스 가능 서비스가 있는지 확인합니다. 없으면 환경을 만들 수 없습니다.

   • Cloud Composer API(composer.googleapis.com)
   • Compute Engine API(compute.googleapis.com)
   • Kubernetes Engine API(container.googleapis.com)
   • Container Registry API(containerregistry.googleapis.com)
   • Artifact Registry API(artifactregistry.googleapis.com)
   • Cloud Storage API(storage.googleapis.com)
   • Cloud SQL Admin API(sqladmin.googleapis.com)
   • Cloud Logging API(logging.googleapis.com)
   • Cloud Monitoring API(monitoring.googleapis.com)
   • Cloud Pub/Sub API(pubsub.googleapis.com)
   • Cloud Cloud Resource Manager API(cloudresourcemanager.googleapis.com)
   • Service Directory API(servicedirectory.googleapis.com)
   • Cloud KMS 또는 CMEK 키를 사용하는 경우 Cloud Key Management Service API(cloudkms.googleapis.com)
   • Secret Manager를 보안 비밀 백엔드로 사용하는 경우 Secret Manager API(secretmanager.googleapis.com)
   경고: Cloud Composer 1의 모든 버전에서 Cloud Identity-Aware Proxy API(iap.googleapis.com) 또는 IAP(Identity-Aware Proxy) TCP API(iaptunnel.googleapis.com)를 경계에 포함하는 경우 Cloud Composer 환경을 만들 수 없습니다. 이 문제를 해결하려면 VPC 서비스 제어가 사용 설정된 프로젝트에서 환경 만들기 실패를 참조하세요.

3. 버전 composer-1.10.4 이상을 사용합니다.

4. DAG 직렬화가 사용 설정되어 있는지 확인합니다. 환경에서 Cloud Composer 버전 1.15.0 이상을 사용하는 경우 직렬화는 기본적으로 사용 설정됩니다.

5. 비공개 IP를 사용 설정하여 새 Cloud Composer 환경을 만듭니다. 이 설정은 환경을 만드는 동안 구성해야 합니다.

6. 환경을 만들 때 Airflow 웹 서버에 대한 액세스를 구성해야 합니다. 최대한의 보호를 위해서는 특정 IP 범위에서만 웹 서버 액세스를 허용합니다. 자세한 내용은 웹 서버 네트워크 액세스 구성을 참조하세요.

VPC 서비스 제어를 사용하여 기존 환경 구성

다음과 같은 경우에는 해당 환경이 포함된 프로젝트를 경계에 추가할 수 있습니다.

• 이전 섹션에 설명된 대로 경계를 만들었습니다.

• 환경이 비공개 IP 환경입니다.

• 환경에 DAG 직렬화가 사용 설정되었습니다.

PyPI 패키지 설치

기본 VPC 서비스 제어 구성에서 Cloud Composer는 VPC 네트워크의 내부 IP 주소 공간에서 연결할 수 있는 비공개 저장소의 PyPI 패키지 설치만 지원합니다.

비공개 저장소에서 설치

권장 구성은 비공개 PyPI 저장소를 설정하고 조직에서 사용하는 검증된 패키지로 채운 다음 비공개 저장소에서 Python 종속 항목을 설치하도록 Cloud Composer를 구성하는 것입니다.

공개 저장소에서 설치

주의: 이 설정을 사용할 때는 외부 저장소 사용에 따른 위험을 이해해야 합니다. 외부 저장소의 콘텐츠와 무결성을 신뢰할 수 있는지 확인하세요. 이러한 연결은 잠재적으로 유출 벡터로 사용될 수 있기 때문입니다.

원격 저장소

공개 저장소에서 패키지를 설치하는 데 권장되는 방법입니다.

비공개 IP 공간 외부의 저장소에서 PyPI 패키지를 설치하려면 다음 단계를 따르세요.

1. Artifact Registry 원격 저장소를 만듭니다.
2. 이 저장소에 업스트림 소스에 대한 액세스 권한을 부여합니다.
3. Artifact Registry 저장소에서 패키지를 설치하도록 Airflow를 구성합니다.

외부 연결

비공개 IP 공간 외부의 저장소에서 PyPI 패키지를 설치하려면 다음 단계를 따르세요.

1. 비공개 IP 공간에서 실행되는 Cloud Composer가 외부 PyPI 저장소와 연결될 수 있도록 Cloud NAT를 구성합니다.

2. Composer 클러스터에서 저장소로 나가는 연결을 허용하도록 방화벽 규칙을 구성합니다.

Cloud Composer 데이터 영역에 사용되는 서비스 계정에는 Composer.Worker 및 iam.serviceAccountUser 권한 역할이 있어야 합니다.

Google API 및 서비스에 대한 연결 구성

VPC 서비스 제어 구성에서 네트워크 트래픽을 제어하려면 restricted.googleapis.com을 통해 Google API 및 서비스에 대한 액세스를 구성합니다. 이 도메인은 VPC 서비스 제어를 지원하지 않는 Google API 및 서비스에 대한 액세스를 차단합니다.

Cloud Composer 환경에서는 다음 도메인을 사용합니다.

• *.googleapis.com은 다른 Google 서비스에 액세스하는 데 사용됩니다.

• *.pkg.dev는 환경을 만들거나 업데이트할 때와 같은 환경 이미지를 가져오는 데 사용됩니다.

• *.gcr.io GKE는 Cloud Composer 버전에 관계없이 Container Registry 도메인에 대한 연결이 필요합니다.

참고: Google API 및 서비스에 대한 DNS 규칙을 구성하지 않으면 기본 도메인에 대한 도메인 옵션을 사용하여 해결됩니다.

restricted.googleapis.com 엔드포인트에 대한 연결을 구성합니다.

도메인	DNS 이름	CNAME 레코드	A 레코드
*.googleapis.com	googleapis.com.	DNS 이름: *.googleapis.com. 리소스 레코드 유형: CNAME 표준 이름: googleapis.com.	리소스 레코드 유형: A IPv4 주소: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.pkg.dev	pkg.dev.	DNS 이름: *.pkg.dev. 리소스 레코드 유형: CNAME 표준 이름: pkg.dev.	리소스 레코드 유형: A IPv4 주소: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7
*.gcr.io	gcr.io.	DNS 이름: *.gcr.io. 리소스 레코드 유형: CNAME 표준 이름: gcr.io.	리소스 레코드 유형: A IPv4 주소: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7

DNS 규칙을 만들려면 다음 안내를 따르세요.

1. 새 DNS 영역을 만들고 이 영역의 DNS 이름으로 DNS 이름을 사용합니다.

   예: pkg.dev.

2. CNAME 레코드에 대한 레코드 세트를 추가합니다.

   예:

   • DNS 이름: *.pkg.dev.
   • 리소스 레코드 유형: CNAME
   • 표준 이름: pkg.dev.

3. A 레코드를 사용하여 레코드 세트를 추가합니다.

   예:

   • 리소스 레코드 유형: A
   • IPv4 주소: 199.36.153.4, 199.36.153.5, 199.36.153.6, 199.36.153.7

자세한 내용은 Google API 및 서비스에 대한 비공개 연결 설정을 참조하세요.

방화벽 규칙 구성

프로젝트에 묵시적인 방화벽 규칙을 재정의하는 규칙이나 기본 네트워크에서 미리 입력된 규칙을 수정하는 규칙과 같은 기본이 아닌 방화벽 규칙이 있는 경우 다음 방화벽 규칙이 구성되어 있는지 확인합니다.

예를 들어 모든 이그레스 트래픽을 거부하는 방화벽 규칙이 있는 경우 Cloud Composer가 환경을 만들지 못할 수 있습니다. 문제를 방지하려면 목록에 이어지고 전역 deny 규칙보다 우선순위가 높은 선택적인 allow 규칙을 정의합니다.

중요: 프로젝트에서 방화벽 규칙이 구성된 방식에 따라 다음 규칙 목록이 중복될 수 있습니다. 예를 들어 방화벽 규칙이 인그레스만 차단하는 경우 나열된 이그레스 규칙이 필요하지 않습니다.

환경의 트래픽을 허용하도록 VPC 네트워크를 구성합니다.

• VPC 네트워크의 규칙을 확인, 추가, 업데이트하는 방법을 알아보려면 방화벽 규칙 사용을 참조하세요.
• 연결 도구를 사용하여 IP 범위 간 연결을 검증합니다.
• 네트워킹 태그를 사용하여 액세스를 추가로 제한할 수 있습니다. 환경을 만들 때 이러한 태그를 설정할 수 있습니다.

설명	방향	작업	소스 또는 대상	프로토콜	포트
DNS Cloud DNS에 대한 VPC 서비스 제어 지원에 설명된 대로 구성.	-	-	-	-	-
Google API 및 서비스	이그레스	허용	Google API 및 서비스에 사용하는 restricted.googleapis.com의 IPv4 주소	TCP	443
환경의 클러스터 노드	이그레스	허용	환경의 서브네트워크 기본 IP 주소 범위	TCP, UDP	모두
환경의 클러스터 포드	이그레스	허용	환경의 서브네트워크에 있는 포드의 보조 IP 주소 범위	TCP, UDP	모두
환경 클러스터 컨트롤 플레인	이그레스	허용	GKE 컨트롤 플레인 IP 범위	TCP, UDP	모두
웹 서버	이그레스	허용	웹 서버 네트워크 IP 범위	TCP	3306, 3307

주의: GKE 서비스는 환경의 클러스터가 올바르게 작동하도록 몇 가지 인그레스 및 이그레스 방화벽 규칙(예: Google Cloud 상태 점검용 인그레스 및 이그레스 규칙)을 자동으로 만듭니다. 자세한 내용은 GKE 방화벽 규칙 페이지를 참조하세요. GKE 서비스에서 만든 방화벽 규칙을 삭제하거나 차단하지 마세요.

IP 범위를 가져오려면 다음 안내를 따르세요.

• 포드, 서비스, 컨트롤 플레인 주소 범위는 환경 클러스터의 클러스터 페이지에서 확인할 수 있습니다.

  1. Google Cloud 콘솔에서 환경 페이지로 이동합니다.

     환경으로 이동

  2. 환경 목록에서 환경 이름을 클릭합니다. 환경 세부정보 페이지가 열립니다.

  3. 환경 구성 탭으로 이동합니다.

  4. 클러스터 세부정보 보기 링크를 클릭합니다.

• 환경 구성 탭에서 환경의 웹 서버 IP 범위를 볼 수 있습니다.

• 환경 구성 탭에서 환경의 네트워크 ID를 볼 수 있습니다. 서브네트워크의 IP 범위를 가져오려면 VPC 네트워크 페이지로 이동하고 네트워크 이름을 클릭하여 세부정보를 확인합니다.

  VPC 네트워크로 이동

VPC 서비스 제어 로그

환경 만들기 문제를 해결할 때 VPC 서비스 제어로 생성된 감사 로그를 분석할 수 있습니다.

다른 로그 메시지 외에도 로그에서 해당 환경의 구성요소를 구성하는 [e-mail] 및 [e-mail] 서비스 계정 관련 정보를 확인할 수 있습니다.

Cloud Composer 서비스는 [e-mail] 서비스 계정을 사용하여 해당 환경의 테넌트 프로젝트 구성요소를 관리합니다.

Composer Service Agent Service Account라고도 부르는 [e-mail] 서비스 계정은 서비스 및 호스트 프로젝트에서 환경 구성요소를 관리합니다.

제한사항

• 모든 VPC 서비스 제어 네트워크 제약조건은 Cloud Composer 환경에도 적용됩니다. 자세한 내용은 VPC 서비스 제어 문서를 참조하세요.

• Cloud Composer 버전 1.12.0 이상 및 Airflow 버전 1.10.9 이상을 실행하는 환경에서는 DAG 직렬화가 사용 설정된 웹 UI의 함수로 렌더링된 템플릿을 표시하는 것이 지원됩니다.

• DAG 직렬화가 사용 설정된 상태에서는 async_dagbag_loader 플래그를 True로 설정하는 것이 지원되지 않습니다.

• DAG 직렬화를 사용 설정하면 Cloud Composer가 배포된 VPC 네트워크의 보안이 저하될 수 있으므로 모든 Airflow 웹 서버 플러그인이 사용 중지됩니다. 이는 Airflow 연산자와 센서 등을 포함하여 스케줄러 또는 작업자 플러그인의 동작에 영향을 주지 않습니다.

• Cloud Composer가 경계 내에서 실행 중인 경우 공개 PyPI 저장소에 대한 액세스가 제한됩니다. 비공개 IP 모드에서 PyPI 모듈을 설치하는 방법을 알아보려면 Python 종속 항목 설치를 참조하세요.

다음 단계

• 환경 만들기
• PyPI 패키지 설치