안내 가이드

인증 및 액세스 제어

• 인증

  Cloud Composer 환경의 인증 설정

• 액세스 제어

  Cloud Composer 환경에 대한 액세스 제어

환경 만들기 및 구성

• Cloud Composer 사용 및 사용 중지

  Cloud Composer API 사용 설정

• 공유 VPC 구성

  Cloud Composer의 호스트 프로젝트 및 네트워킹 리소스 구성

• 비공개 IP 구성

  Cloud Composer 환경에서 비공개 IP 사용 설정

• Cloud Composer 환경의 대규모 네트워크 구성

  Cloud Composer 환경의 대규모 네트워크 조직

• 이메일 알림 구성

  Cloud Composer 환경의 이메일 알림 및 SMTP 서비스 구성

• 유지보수 기간 지정

  해당 환경에서 유지보수를 수행할 수 있는 기간 지정

• 환경 만들기

  새 Cloud Composer 환경 만들기

• 환경 변수 설정

  환경 변수 설정 요구사항

• 연결 관리

  Airflow 연결을 사용하여 Google Cloud 프로젝트의 리소스에 액세스

• KubernetesPodOperator 사용

  Cloud Composer의 GKE pod를 환경의 GKE 클러스터로 실행

환경 액세스

• Airflow 명령줄 인터페이스

  Cloud Composer 환경에서 Apache Airflow 명령줄(CLI) 인터페이스 사용

• Airflow 웹 인터페이스

  Cloud Composer 환경의 Apache Airflow 웹 인터페이스에 연결

• Airflow 데이터베이스

  Airflow 데이터베이스에 연결하고 SQL 쿼리 실행

워크플로 관리

• DAG 작성

  Cloud Composer 환경의 DAG(워크플로) 작성

• DAG 추가 및 업데이트

  Cloud Composer 환경에서 DAG(워크플로) 관리

• DAG 내 태스크 그룹화

  Cloud Composer 환경의 DAG 내 태스크 그룹화

• 백포트 공급자 패키지에서 연산자 가져오기

  Airflow 1.10.* 환경에서 연산자의 새 버전 사용

• DAG 트리거

  예약 및 수동으로 DAG 트리거

• Cloud Functions로 DAG 트리거

  Cloud Functions를 사용하여 이벤트에 대한 응답으로 DAG 트리거

• 커스텀 플러그인 설치

  Cloud Composer 환경에 플러그인 설치

• Python 종속 항목 설치

  Cloud Composer 환경에 Python Package Index 종속 항목 설치

• DAG 테스트

  로컬에서 DAG 테스트

• DAG 문제 해결

  일반적인 워크플로 문제 해결

환경 모니터링

• Airflow 로그 보기

  Cloud Composer 환경의 Airflow 태스크 로그 보기

• 감사 로그 보기

  Cloud Composer 환경의 감사 로그 보기

• Stackdriver에서 환경 모니터링

  Stackdriver를 사용하여 Cloud Composer 환경 모니터링

환경 업데이트 및 업그레이드

• 환경 업데이트 및 삭제

  Cloud Composer 환경 업데이트 또는 삭제

• 환경 업그레이드

  기존 Cloud Composer 환경을 새 버전으로 업그레이드

• Airflow 데이터베이스 정리

  크기를 줄이려면 Airflow 데이터베이스에서 이전 항목을 삭제합니다.

• PyPI 패키지 설치 문제 해결

  Cloud Composer 환경에서 PyPI 패키지 종속 항목 충돌 문제를 해결합니다.

• Airflow 2.0으로 환경 마이그레이션

  기존 Airflow 1.10.* 환경에서 Airflow 2 환경으로 DAG, 데이터, 구성을 전송