이 섹션에서는 워크플로를 예약하는 데 사용할 수 있는 Google Cloud 옵션을 설명합니다.
Dataproc 워크플로 템플릿
Dataproc 워크플로 템플릿은 워크플로 관리와 실행을 위한 간편하고 유연한 메커니즘을 제공합니다. 워크플로 템플릿은 재사용 가능한 워크플로 구성입니다. 작업 그래프를 해당 작업을 실행할 위치에 관한 정보와 함께 정의합니다.
Cloud 스케줄러
Cloud Scheduler는 엔터프라이즈 수준의 완전 관리형 크론 작업 스케줄러로서 일괄, 빅데이터 작업, Cloud 인프라 작업 등 거의 모든 작업을 예약할 수 있습니다. 코드를 작성할 필요없이 매일 또는 매시간 등 간단한 시간 기반 일정을 예약할 수 있습니다.
장점:
익숙한 크론 표현식을 기반으로 워크플로 템플릿의 시간 기반 인스턴스화를 사용 설정합니다.
작성할 코드 없음
가이드: Cloud Scheduler를 사용한 워크플로
Cloud 함수
Cloud Functions는 서버 또는 런타임 환경을 관리할 필요없이 Cloud 이벤트에 응답하는 단일 목적의 독립형 함수를 만드는 데 사용할 수 있는 가벼운 컴퓨팅 솔루션입니다. Cloud Functions를 사용하여 Cloud Storage의 Pub/Sub 이벤트 또는 파일 변경에 대한 응답으로 워크플로를 시작할 수 있습니다. 시간 기반 매개변수 계산이 필요한 워크플로에 Cloud Scheduler와 함께 Cloud Functions를 사용할 수 있습니다.
장점:
Cloud Storage 또는 Pub/Sub 이벤트의 새 파일과 같은 데이터 이벤트에 대한 응답으로 워크플로 인스턴스화를 사용합니다.
워크플로 및 워크플로 매개변수를 동적으로 생성
가이드: Cloud Functions를 사용한 워크플로
Cloud Composer
Cloud Composer는 워크플로를 생성, 예약, 모니터링, 관리하는 데 사용할 수 있는 관리형 Apache Airflow 서비스입니다.
장점:
시간 및 이벤트 기반 일정 예약 지원
연산자를 사용한 Dataproc에 대한 간단한 호출
워크플로 및 워크플로 매개변수를 동적으로 생성
여러 Google Cloud 제품을 포괄하는 데이터 흐름 구축
가이드: Cloud Composer를 사용하는 워크플로