환경 만들기
네트워킹 구성
-
비공개 IP 네트워킹 구성
비공개 IP Cloud Composer 환경에 대해 프로젝트 네트워킹을 구성합니다.
-
공유 VPC 네트워킹 구성
Cloud Composer 환경에 대해 호스트 및 서비스 프로젝트 네트워킹을 구성합니다.
-
VPC 서비스 제어를 구성합니다.
VPC 서비스 제어 경계에 환경을 만듭니다.
-
Cloud Composer 환경의 대규모 네트워크 구성
Cloud Composer 환경의 대규모 네트워크를 조직합니다.
-
비공개로 사용되는 공개 IP 범위 구성
해당 환경에서 비공개적으로 사용되는 공개 IP 범위를 사용합니다.
-
IP 매스커레이드 에이전트 사용 설정
환경에서 IP 매스커레이딩을 사용 설정합니다.
환경 구성
-
환경 변수 설정
Apache Airflow 스케줄러, 작업자, 웹 서버 프로세스에 제공되는 환경 변수를 설정합니다.
-
Airflow 구성 옵션 재정의
Airflow 구성 옵션을 재정의하여 사용자 및 요구사항에 맞게 Airflow 인스턴스를 조정합니다.
-
환경 확장
해당 환경의 규모 및 성능 매개변수를 변경합니다.
-
Airflow 연결 관리
Google Cloud 프로젝트, 다른 클라우드 제공업체 또는 타사 서비스 등과 같이 Airflow가 다른 API와 통신하기 위해 사용하는 연결 정보를 저장합니다.
-
DAG 직렬화 사용 설정 및 사용 중지
웹 서버로 전송되기 전 DAG 파일을 처리하도록 Airflow 스케줄러를 구성합니다.
-
유지보수 기간 지정
Cloud Composer가 해당 환경에 대해 유지보수를 수행할 수 있는 기간을 구성합니다.
-
이메일 알림 구성
해당 환경에 대해 SMTP 서비스를 구성합니다.
-
환경 라벨 관리 및 환경 비용 분석
환경에 라벨을 할당한 후 이 라벨을 기준으로 청구 비용을 세분화할 수 있습니다.
보안 및 액세스 제어 구성
-
IAM으로 액세스 제어
Cloud Composer에서 작동하는 사용자 및 서비스 계정에 대해 역할 및 권한을 할당합니다.
-
Airflow UI 액세스 제어
Airflow UI 액세스 제어(Airflow 역할 기반 액세스 제어 또는 Airflow RBAC)를 사용하여 Airflow UI 내에서 사용 가능한 작업에 대한 권한을 할당합니다.
-
고객 관리 암호화 키 사용
고객 관리 암호화 키(CMEK)로 사용자 환경의 데이터를 암호화합니다.
-
리소스 위치 제한 구성
Cloud Composer가 지정된 위치 내에 데이터를 저장하도록 리소스 위치 제한사항을 구성합니다.
-
Secret Manager 구성
Secret Manager에 민감한 정보를 저장하고 해당 환경에서 액세스합니다.
환경 업데이트, 업그레이드, 삭제
-
환경 업데이트
환경 구성을 변경합니다.
-
환경 업그레이드
환경을 Cloud Composer 및 Airflow의 최신 버전으로 업그레이드합니다.
-
환경 삭제
환경을 삭제합니다.
-
환경 스냅샷 저장 및 로드
환경 스냅샷을 사용하여 환경 상태를 저장하고 로드합니다.
-
Airflow 데이터베이스 삭제
크기를 줄이려면 Airflow 데이터베이스에서 이전 항목을 삭제합니다.
-
Airflow 2로 환경 마이그레이션
기존 Airflow 1.10.* 환경에서 Airflow 2 환경으로 DAG, 데이터, 구성을 전송합니다.
-
Cloud Composer 2(Airflow 2에서)로 환경 마이그레이션
Airflow 2가 포함된 기존 Cloud Composer 1 환경에서 Cloud Composer 2 환경으로 DAG, 데이터, 구성을 전송합니다.
-
스냅샷을 사용하여 Cloud Composer 2(Airflow 2에서)로 환경 마이그레이션
환경 스냅샷을 사용하여 Airflow 2가 포함된 기존 Cloud Composer 1 환경에서 Cloud Composer 2 환경으로 DAG, 데이터, 구성을 전송합니다.
-
Cloud Composer 2(Airflow 1에서)로 환경 마이그레이션
Airflow 1이 포함된 기존 Cloud Composer 1 환경에서 Cloud Composer 2 환경으로 DAG, 데이터, 구성을 전송합니다.
-
스냅샷을 사용하여 Cloud Composer 2(Airflow 1에서)로 환경 마이그레이션
환경 스냅샷을 사용하여 Airflow 1이 포함된 기존 Cloud Composer 1 환경에서 Cloud Composer 2 환경으로 DAG, 데이터, 구성을 전송합니다.
액세스 환경
DAG 관리
-
DAG 작성
DAG 정의 파일을 작성합니다.
-
DAG 추가 및 업데이트
DAG를 해당 환경의 버킷에 업로드합니다.
-
DAG 트리거
일정에 따라, 수동으로, 기타 방법을 사용하여 DAG를 트리거합니다.
-
백포트 공급자 패키지에서 연산자 가져오기
백포트 연산자 패키지에서 가져와서 Airflow 1.10.* 환경에서 새 버전의 연산자를 사용합니다.
-
KubernetesPodOperator 사용
KubernetesPodOperator를 사용하여 환경 클러스터에서 포드를 실행합니다.
-
GKE 연산자 사용
GKE 연산자를 사용하여 클러스터에서 클러스터를 관리하고 포드를 실행할 수 있습니다.
-
DAG 내 태스크 그룹화
Airflow에서 제공되는 다른 방법을 사용하여 DAG에서 태스크를 하나로 그룹화합니다.
-
Cloud Functions로 DAG 트리거
Cloud Functions를 사용하여 환경에서 DAG를 트리거합니다.
-
커스텀 플러그인 설치
Cloud Composer 환경에 커스텀 플러그인을 설치합니다.
-
Python 종속 항목 설치
환경에 Python 패키지를 설치합니다.
-
DAG 테스트
DAG에서 오류를 확인하고, 배포된 DAG를 업데이트하고 테스트합니다.