가이드

• Cloud Composer로 인프라 자동화

  가상 머신(VM) 인스턴스의 자동 백업 예약

• Cloud Composer로 Dataflow 파이프라인 실행

  DatalowTemplateOperator를 사용하여 Cloud Composer 환경에서 Dataflow 파이프라인 실행

• 환경 상태 확인

  Stackdriver를 사용하여 사용자 환경에 맞춤설정된 모니터링 및 경고 설정

• Cloud Dataproc 클러스터에서 Hadoop 워드카운트 작업 실행

  Cloud Dataproc 클러스터에서 Hadoop 워드카운트 작업을 실행하는 Apache Airflow DAG 만들기

• 데이터 처리 워크플로용 CI/CD 파이프라인 설정

  Google Cloud Platform(GCP)에서 관리형 제품으로 CI/CD 메서드 구현

• Cloud Composer를 사용하는 Dataproc 워크플로

  Cloud Composer를 사용하여 Dataproc 워크플로 템플릿 실행