Google Cloud での適切なオーケストレーターの選択

※この投稿は米国時間 2021 年 4 月 22 日に、Google Cloud blog に投稿されたものの抄訳です。

オーケストレーションとは何か

オーケストレーションとは一般に、コンピュータ システムとサービスの自動化された構成、調整、管理のことを指します。

サービス指向アーキテクチャにおけるオーケストレーションは、特定の日時における単一サービスの単純な実行から、複数のサービスを長期にわたって自動的に実行してモニタリングしつつ、発生と同時に障害にも対処できるより高度なアプローチまでさまざまです。

データ エンジニアリングにおけるオーケストレーションとは、データを準備して取り込み、変換するサービスとワークフローを調整する中心的機能です。データ処理だけでなく、データから機械学習（ML）モデルをトレーニングするワークフローが関与することもあります。

Google Cloud ではオーケストレーション ツールには不自由しません。このブログ投稿では、サービスとデータのオーケストレーション ツールについて説明し、皆様が自分のユースケースに最適なものを選択できるようにお手伝いします。

Google Cloud でのオーケストレーション

Google Cloud Platform には、オーケストレーション用のツールとサービスが複数用意されています。

• Cloud Scheduler: スケジュールに基づいて実行される、単一サービスのオーケストレーション用

• Workflows: 複雑なマルチサービスのオーケストレーション用

• Cloud Composer: データ ワークロードのオーケストレーション用

これらのツールを詳しく見ていきましょう。

Cloud Scheduler                                                                                                                

Cloud Scheduler は、定期的な単一サービスの実行をスケジュールするためのサービスです。これは、Google Cloud で最も単純なオーケストレーションです。

Cloud Scheduler では、cron スケジュールを使用して、ユーザーが定義したスケジュールで HTTP ベースのサービスの実行をトリガーします。

多くのお客様が、Scheduler を Pub/Sub と Cloud Functions と併用し、Google Cloud でサーバーレスにコードを実行しています。

定期的な間隔で単一サービスを呼び出す必要があるだけの場合は、Cloud Scheduler が適しています。しかし、複数のサービスを連携させて、あるサービスの出力を次のサービスに入力する場合はどうでしょうか。あるいは、複雑なロジックを適用して、いつ、どのようにサービスを呼び出すかを決定する必要がある場合はどうでしょうか。その場合は、Workflows の使用を検討します。

Workflows

Workflows は、複数の HTTP ベースのサービスを耐久性が高く、ステートフルな 1 つのワークフローにオーケストレートするためのサービスです。

Cloud Scheduler と同様に、Workflows でも、Cloud Functions と Cloud Run、さらに外部サービスと API 上で実行される HTTP ベースのサービスの実行を自動化できます。Scheduler と異なる点は、Workflows にはより広範なワークフローの一部として複数のサービスの実行を管理できる、高度なロジックがあることです。

Workflows は、マイクロサービスを連鎖的に実行する場合、仮想マシン（VM）の開始や停止といったインフラストラクチャ タスクを自動化する場合、また外部システムと確実に統合する場合に最適です。サービス統合の信頼できる一元的な情報源として機能し、サービスのオブザーバビリティとエラー処理を向上させます。また完全にサーバーレスなので、リソースの保守について心配する必要もありません。

ワークフローを実行するには、ワークフローを手動でトリガーする（API または UI を介して）か、Cloud Scheduler を使用して定期スケジュールを設定します。

Workflows はサービス指向アーキテクチャでは非常に役立ちますが、それよりもエンジニアリング データ パイプラインやビッグデータ処理に主眼を置いている場合は、Composer の使用を検討します。

Cloud Composer 

Composer は、データドリブン（特に抽出、変換、読み込み（ETL） / 抽出、読み込み、変換（ELT））ワークフローのオーケストレーション用に設計されたサービスで、広く使用されているオープンソースの Apache Airflow プロジェクトを基に構築されています。

Composer はフルマネージド型なので、Airflow デプロイメントのインストールや保守に煩わされることはありません。また、パイプラインがオンプレミスであっても、複数のクラウド プラットフォームにわたって存在していても、場所を問わずご使用のパイプラインをサポートします。

Workflows と同様に、ワークフローのステップごとのタスクを作成し、タスクの順序を構成して、なんらかの条件に基づいて次に実行するタスクを指定できます。

タスクは Python 有向非巡回グラフ（DAG）で表現され、任意の時間に実行するようにスケジュールできます。

Composer は、BigQuery でのジョブのトリガーや Dataflow パイプラインの開始など、データ パイプラインを構成するサービスのオーケストレーションに使用します。演算子を使用すれば、複数のクラウド環境やオンプレミスのサービスと通信できます。Google Cloud だけでも、150 を超える演算子があります。

たとえば、DAG ファイルに含まれる演算子にいくつかのパラメータを渡すことで、BigQuery ジョブの実行や Dataflow や Dataproc でのパイプラインのスケジュール設定と開始を簡単に行えます。

Composer と Workflows のどちらを選ぶか

Composer と Workflows はいずれも、複数のサービスのオーケストレーションをサポートし、長時間実行されるワークフローに対応できます。これらのプロダクトの機能には重複する部分もありますが、異なる部分もあり、それぞれが異なるユースケースに適したプロダクトとなっています。

Composer は、ELT、データ エンジニアリング、ワークフローの一部としてデータの変換をオーケストレートするために最もよく使用されます。一方 Workflows は、Cloud Functions、Cloud Run、外部 API で作成された HTTP ベースのサービスのオーケストレーションに特化しています。

Composer は、タスク実行間の数秒の遅延を許容できるバッチ ワークロードのオーケストレーション向けに作られています。タスク間の低レイテンシが求められる状況には適していません。一方、Workflows はレイテンシの影響を受けやすいユースケース向けに作られています。

Composer では Airflow デプロイメントの保守の心配は不要ですが、特定の Composer 環境で必要なワーカーの数は指定する必要があります。Workflows は完全にサーバーレスなので、管理やスケーリングが必要なインフラストラクチャはありません。

次のユースケースの例が、どちらのプロダクトを使用すべきかを考える際に役立ちます。

まとめ

以上に Google Cloud の異なるオーケストレーション ツールの簡単な説明と、ご使用のユースケースに適したツールを選択する方法の決定木を示しました。最終的には、オーケストレートするシステムとサービスによって、使用すべき適切なツールが決まります。

次のブログ投稿では、データ オーケストレーションについてさらに詳しく見ていきます。ご注目ください。それまでの間、Cloud Scheduler、Cloud Composer、Workflows のクイックスタート ガイドを読んで準備をしておいてください。

-Cloud 担当デベロッパー アドボケイト, Rachael Deacon-Smith

-デベロッパー アドボケイト, Mete Atamel