Cloud Composer
Apache Airflow를 기반으로 하는 완전 관리형 워크플로 조정 서비스입니다.
신규 고객에게는 처음 90일 동안 Composer 또는 기타 Google Cloud 제품에 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.
-
하이브리드 및 멀티 클라우드 환경을 아우르는 파이프라인을 작성, 일정 예약, 모니터링합니다.
-
Apache Airflow 오픈소스 프로젝트에 빌드되며 Python으로 작동
-
종속되지 않고 사용이 간편합니다.
이점
완전 관리형 워크플로 조정
Cloud Composer만의 관리 기능과 Apache Airflow 호환성 덕분에 리소스를 프로비저닝하기보다 워크플로 작성, 예약, 모니터링에 집중할 수 있습니다.
Google Cloud 제품과 통합
BigQuery, Dataflow, Dataproc, Datastore, Cloud Storage, Pub/Sub, AI Platform 등의 Google Cloud 제품과 엔드 투 엔드 통합을 통해 사용자는 자유롭게 파이프라인을 완전히 조정할 수 있습니다.
하이브리드 및 멀티 클라우드 지원
파이프라인이 온프레미스, 여러 클라우드, Google Cloud 내부 등 어디에 위치하든 관계없이 단일 조정 도구를 통해 워크플로를 작성, 예약, 모니터링합니다.
주요 특징
주요 특징
하이브리드 및 멀티 클라우드
온프레미스와 퍼블릭 클라우드를 넘나드는 워크플로를 조정하여 클라우드로의 이전 과정을 간소화하거나 하이브리드 데이터 환경을 유지합니다. 여러 클라우드에 걸쳐 데이터, 처리, 서비스를 연결하는 워크플로를 만들어 통합된 데이터 환경을 제공합니다.
오픈소스
Cloud Composer는 Apache Airflow를 기반으로 빌드되어 사용자에게 특정 서비스에 종속되지 않을 자유와 이동성을 선사합니다. Google에서도 참여하고 있는 이 오픈소스 프로젝트는 광범위한 플랫폼과 통합되는 것은 물론 고객에게 특정 서비스에 종속되지 않을 자유를 줍니다. 지원 플랫폼의 수는 Airflow 커뮤니티의 성장에 따라 계속 늘어날 전망입니다.
간편한 조정
Cloud Composer 파이프라인은 Python을 사용한 DAG(Directed Acyclic Graph)로 구성되어 있어 모든 사용자가 쉽게 사용할 수 있습니다. 클릭 한 번으로 배포하여 실제 워크플로의 다양한 커넥터와 여러 그래픽 표현이 들어 있는 라이브러리에 즉시 액세스할 수 있으므로 문제 해결 과정을 간소화할 수 있습니다. DAG(Directed Acyclic Graph)의 자동 동기화 기능 덕분에 일정에 맞춰 업무를 처리할 수 있습니다.
문서
문서
Cloud Composer 개요
Cloud Composer 환경과 Apache Airflow 배포에 사용되는 Google Cloud 제품 개요를 알아봅니다.
Cloud Composer로 인프라 자동화
Compute Engine 가상 머신(VM) 인스턴스의 자동화된 백업 일정을 예약하는 방법을 알아봅니다.
데이터 처리 워크플로용 CI/CD 파이프라인 설정
Google Cloud에서 관리형 제품으로 데이터를 처리하기 위한 지속적 통합/지속적 배포(CI/CD) 파이프라인 설정 방법을 알아봅니다.
비공개 IP Cloud Composer 환경
비공개 IP Cloud Composer 환경 사용에 관한 정보를 알아봅니다.
DAG(워크플로) 작성
Cloud Composer 환경에서 실행되는 Apache Airflow Directed Acyclic Graph(DAG)를 작성하는 방법을 알아봅니다.
Google Cloud Skills Boost: Google Cloud에서 데이터 엔지니어링
4일 동안의 강의를 통해 Google Cloud에서 데이터 파이프라인을 설계하고 빌드하는 실무를 소개합니다.
모든 특징
모든 특징
| 멀티 클라우드 | 여러 클라우드에 걸쳐 데이터, 처리, 서비스를 연결하는 워크플로를 만들어 통합된 데이터 환경을 제공합니다. |
| 오픈소스 | Cloud Composer는 Apache Airflow를 기반으로 빌드되어 사용자에게 특정 서비스에 종속되지 않을 자유와 이동성을 선사합니다. |
| 하이브리드 | 온프레미스와 퍼블릭 클라우드를 넘나드는 워크플로를 조정하여 클라우드로의 이전 과정을 간소화하거나 하이브리드 데이터 환경을 유지합니다. |
| 통합 | BigQuery, Dataflow, Dataproc, Datastore, Cloud Storage, Pub/Sub, AI Platform 등과 기본적으로 통합되므로 Google Cloud 워크로드를 엔드 투 엔드로 조정할 수 있습니다. |
| Python 프로그래밍 언어 | 기존 Python 기술을 활용하여 Cloud Composer 내에서 워크플로를 동적으로 작성하고 워크플로 일정을 예약할 수 있습니다. |
| 안정성 | 문제의 근본 원인을 모니터링하고 해결하는 간편한 차트를 통해 워크플로의 안정성을 높입니다. |
| 완전 관리형 | Cloud Composer만의 관리 기능 덕분에 리소스를 프로비저닝하기보다 워크플로 작성, 예약, 모니터링에 집중할 수 있습니다. |
| 네트워킹 및 보안 | 환경 생성 시 Cloud Composer는 루트 기반 GKE 클러스터가 있는 Cloud Composer 환경(기본), 비공개 IP Cloud Composer 환경, 별칭 IP 주소를 사용하는 VPC 기반 GKE 클러스터가 있는 Cloud Composer 환경, 공유 VPC의 구성 옵션을 제공합니다. |
가격 책정
가격 책정
Cloud Composer 요금은 사용량을 기반으로 책정되므로 vCPU/시간, 용량(GB)/월, 전송량(GB)/월과 같은 단위로 측정된 사용량만큼만 지불하면 됩니다. Cloud Composer는 여러 Google Cloud 제품으로 구성되어 있기 때문에 다양한 가격 책정 단위를 사용합니다.
소비량이나 지속적인 사용에 관계없이 가격은 동일하게 책정됩니다. 자세한 내용은 가격 책정 페이지를 참조하세요.