Cloud Composer는 무엇인가요?

이 페이지에서는 Apache Airflow로 워크플로를 만들고 배포하기 위한 Google Cloud 솔루션인 Cloud Composer에 대한 개요를 제공합니다.

Cloud Composer를 사용하는 이유

Cloud Composer는 클라우드 및 온프레미스 데이터 센터 전체의 워크플로를 만들 수 있는 완전 관리형 워크플로 조정 서비스입니다. 인기 있는 Apache Airflow 오픈소스 프로젝트를 기반으로 구축되어 Python 프로그래밍 언어로 작동되는 Cloud Composer는 서비스 전환이 자유롭고 사용하기도 쉽습니다. Apache Airflow의 로컬 인스턴스 대신 Cloud Composer를 사용하면 사용자가 설치 또는 관리 오버헤드 없이 Airflow의 이점을 얻을 수 있습니다.

워크플로, DAG, 작업

데이터 분석에서 워크플로는 데이터 수집, 변환, 분석 또는 사용을 위한 일련의 작업을 나타냅니다. Airflow에서 워크플로는 DAG(또는 Directed Acyclic Graph)를 사용하여 생성됩니다.

DAG는 관계 및 종속 항목을 반영하는 방식으로 구성된 예약하고 실행하려는 작업의 모음입니다. DAG는 코드를 사용하여 DAG 구조(작업 및 종속 항목)를 정의하는 Python 스크립트에서 생성됩니다.

DAG의 각 작업은는 거의 모든 것을 나타낼 수 있습니다. 예를 들어 한 작업은 다음 기능을 수행할 수 있습니다.

  • 수집을 위한 데이터 준비
  • API 모니터링
  • 이메일 보내기
  • 파이프라인 실행

DAG는 각 구성 작업의 기능과 관련되지 않습니다. 이러한 이유는 각 작업이 적절한 시점에, 올바른 순서로 실행되거나 올바른 문제 처리를 통해 실행되도록 하기 위함입니다.

DAG 및 작업에 대한 자세한 내용은 Apache Airflow 문서를 참조하세요.

환경

워크플로를 실행하려면 먼저 환경을 만들어야 합니다. Airflow는 실행할 많은 마이크로서비스에 의존하므로 Cloud Composer는 워크플로를 실행할 Google Cloud 구성요소를 프로비저닝합니다. 이러한 구성요소를 통칭하여 Cloud Composer 환경이라고 합니다.

환경은 Google Kubernetes Engine을 기반으로 하는 독립 실행형 Airflow 배포이며 Airflow에 기본 제공되는 커넥터를 사용하여 다른 Google Cloud 서비스와 함께 작동합니다. 지원되는 리전을 사용하여 단일 Google Cloud 프로젝트에서 환경을 한 개 이상 만들 수 있습니다. 지원되는 리전에서 Cloud Composer 환경을 만들 수 있습니다.

환경의 구성요소에 대한 자세한 내용은 Cloud Composer 환경 아키텍처를 참조하세요.

다음 단계