안내 가이드

환경 만들기

• Cloud Composer 서비스 사용 설정 및 사용 중지

  프로젝트에서 Cloud Composer 서비스를 사용 설정 및 사용 중지합니다.

• 환경 만들기

  Cloud Console, gcloud, Cloud Composer API, Terraform을 사용하여 Cloud Composer 환경을 만듭니다.

네트워킹 구성

• 비공개 IP 네트워킹 구성

  비공개 IP Cloud Composer 환경에 대해 프로젝트 네트워킹을 구성합니다.

• 공유 VPC 네트워킹 구성

  Cloud Composer 환경에 대해 호스트 및 서비스 프로젝트 네트워킹을 구성합니다.

• VPC 서비스 제어를 구성합니다.

  VPC 서비스 제어 경계에 환경을 만듭니다.

• Cloud Composer 환경의 대규모 네트워크 구성

  Cloud Composer 환경의 대규모 네트워크를 조직합니다.

• 비공개로 사용되는 공개 IP 범위 구성

  해당 환경에서 비공개적으로 사용되는 공개 IP 범위를 사용합니다.

• IP 매스커레이드 에이전트 사용 설정

  환경에서 IP 매스커레이딩을 사용 설정합니다.

환경 구성

• 환경 변수 설정

  Apache Airflow 스케줄러, 작업자, 웹 서버 프로세스에 제공되는 환경 변수를 설정합니다.

• Airflow 구성 옵션 재정의

  Airflow 구성 옵션을 재정의하여 사용자 및 요구사항에 맞게 Airflow 인스턴스를 조정합니다.

• 환경 확장

  해당 환경의 규모 및 성능 매개변수를 변경합니다.

• Airflow 연결 관리

  Google Cloud 프로젝트, 다른 클라우드 제공업체 또는 타사 서비스 등과 같이 Airflow가 다른 API와 통신하기 위해 사용하는 연결 정보를 저장합니다.

• DAG 직렬화 사용 설정 및 사용 중지

  웹 서버로 전송되기 전 DAG 파일을 처리하도록 Airflow 스케줄러를 구성합니다.

• 유지보수 기간 지정

  Cloud Composer가 해당 환경에 대해 유지보수를 수행할 수 있는 기간을 구성합니다.

• 이메일 알림 구성

  해당 환경에 대해 SMTP 서비스를 구성합니다.

• 환경 라벨 관리 및 환경 비용 분석

  환경에 라벨을 할당한 후 이 라벨을 기준으로 청구 비용을 세분화할 수 있습니다.

보안 및 액세스 제어 구성

• IAM으로 액세스 제어

  Cloud Composer에서 작동하는 사용자 및 서비스 계정에 대해 역할 및 권한을 할당합니다.

• Airflow 역할 기반 액세스 제어

  Airflow 역할 기반 액세스 제어(RBAC)를 사용하여 Airflow 내에서 사용할 수 있는 작업에 대한 권한을 할당합니다.

• 고객 관리 암호화 키 사용

  고객 관리 암호화 키(CMEK)로 사용자 환경의 데이터를 암호화합니다.

• 리소스 위치 제한 구성

  Cloud Composer가 지정된 위치 내에 데이터를 저장하도록 리소스 위치 제한사항을 구성합니다.

• Secret Manager 구성

  Secret Manager에 민감한 정보를 저장하고 해당 환경에서 액세스합니다.

환경 업데이트, 업그레이드, 삭제

• 환경 업데이트

  환경 구성을 변경합니다.

• 환경 업그레이드

  환경을 Cloud Composer 및 Airflow의 최신 버전으로 업그레이드합니다.

• 환경 삭제

  환경을 삭제합니다.

• 환경 스냅샷 저장 및 로드

  환경 스냅샷을 사용하여 환경 상태를 저장하고 로드합니다.

• Airflow 데이터베이스 삭제

  크기를 줄이려면 Airflow 데이터베이스에서 이전 항목을 삭제합니다.

• Airflow 2로 환경 마이그레이션

  기존 Airflow 1.10.* 환경에서 Airflow 2 환경으로 DAG, 데이터, 구성을 전송합니다.

• Cloud Composer 2(Airflow 2에서)로 환경 마이그레이션

  Airflow 2가 포함된 기존 Cloud Composer 1 환경에서 Cloud Composer 2 환경으로 DAG, 데이터, 구성을 전송합니다.

• 스냅샷을 사용하여 Cloud Composer 2(Airflow 2에서)로 환경 마이그레이션

  환경 스냅샷을 사용하여 Airflow 2가 포함된 기존 Cloud Composer 1 환경에서 Cloud Composer 2 환경으로 DAG, 데이터, 구성을 전송합니다.

• Cloud Composer 2(Airflow 1에서)로 환경 마이그레이션

  Airflow 1이 포함된 기존 Cloud Composer 1 환경에서 Cloud Composer 2 환경으로 DAG, 데이터, 구성을 전송합니다.

• 스냅샷을 사용하여 Cloud Composer 2(Airflow 1에서)로 환경 마이그레이션

  환경 스냅샷을 사용하여 Airflow 1이 포함된 기존 Cloud Composer 1 환경에서 Cloud Composer 2 환경으로 DAG, 데이터, 구성을 전송합니다.

액세스 환경

• Airflow 명령줄 인터페이스

  해당 환경에서 Airflow CLI 명령어를 실행합니다.

• Airflow 웹 인터페이스

  개발자를 위한 Airflow UI에 액세스합니다.

• Airflow REST API

  Airflow REST API에 요청을 수행합니다.

• Airflow 데이터베이스

  Airflow 데이터베이스에 액세스하고 쿼리를 실행합니다.

DAG 관리

• DAG 작성

  DAG 정의 파일을 작성합니다.

• DAG 추가 및 업데이트

  DAG를 해당 환경의 버킷에 업로드합니다.

• DAG 트리거

  일정에 따라, 수동으로, 기타 방법을 사용하여 DAG를 트리거합니다.

• 백포트 공급자 패키지에서 연산자 가져오기

  백포트 연산자 패키지에서 가져와서 Airflow 1.10.* 환경에서 새 버전의 연산자를 사용합니다.

• KubernetesPodOperator 사용

  KubernetesPodOperator를 사용하여 환경 클러스터에서 포드를 실행합니다.

• GKE 연산자 사용

  GKE 연산자를 사용하여 클러스터에서 클러스터를 관리하고 포드를 실행할 수 있습니다.

• DAG 내 태스크 그룹화

  Airflow에서 제공되는 다른 방법을 사용하여 DAG에서 태스크를 하나로 그룹화합니다.

• Cloud Functions로 DAG 트리거

  Cloud Functions를 사용하여 환경에서 DAG를 트리거합니다.

• 커스텀 플러그인 설치

  Cloud Composer 환경에 커스텀 플러그인을 설치합니다.

• Python 종속 항목 설치

  환경에 Python 패키지를 설치합니다.

• DAG 테스트

  DAG에서 오류를 확인하고, 배포된 DAG를 업데이트하고 테스트합니다.

환경 모니터링

• Airflow 로그 보기

  해당 환경의 Airflow 로그에 액세스하고 확인합니다.

• 감사 로그 보기

  Cloud Composer의 감사 로그를 사용 설정하고 봅니다.

• 환경 모니터링

  해당 환경의 모니터링 대시보드에 액세스하고 확인합니다.

• Monitoring으로 환경 모니터링

  Monitoring에서 해당 환경의 측정항목을 확인하고 Cloud Logging에서 환경 로그인에 액세스합니다.