データ分析

データから隠れた価値を引き出す: Elastic Cloud 向け Dataflow テンプレートをリリース

2021年10月18日

Google Cloud Japan Team

GCP を試す

$300 分の無料クレジットと 20 以上の無料プロダクトがある Google Cloud で構築を始めよう

※この投稿は米国時間 2021 年 10 月 5 日に、Google Cloud blog に投稿されたものの抄訳です。

Google Cloud のお客様の多くにとって、戦略上の主な優先事項は、すでにあるデータから価値を引き出すことです。企業が保有する全データのうち 73% ものデータが分析に使われていません。これを表すのによく使われるのが「ダークデータ」という言葉です。業界観測筋は、ほとんどの企業では保有するデータのうちわずかしか分析に活用されていないと指摘しています。

分析用にデータを活用する際には多くの面から考える必要があります。その基本的な要素の 1 つとして、データをさまざまなシステムで活用できる状態にし、組織の枠や技術的なサイロが制限にならないようにする必要があります。そこで Google Cloud は、データを多様なシステムでシームレスに活用するという、多くの企業が抱える課題を克服するために、Dataflow テンプレートをリリースしました。Dataflow テンプレートは、スケーラブルかつフォールトトレラントで豊富なデータ処理機能を持つ Dataflow と Apache Beam を基盤に構築されており、一般的なデータ取り込みタスクやデータ複製タスクをユーティリティソフトウェアのようにすぐに実行できます。Dataflow テンプレートは、データの取り込みと複製のためにパッケージ化されたパイプラインです。一般的な多くのニーズに対応しており、すべてのユーザーとシステムがデータを最大限活用できるようにします。

特によく使用される Pub/Sub to BigQuery、Apache Kafka to BigQuery、Cloud Spanner to Cloud Storage、Data Masking / Tokenization（using Cloud DLP）など、多数の Dataflow テンプレートが用意されています。テンプレートは今後も追加されます。最近では、データベースにあるデータから分析用の最新複製テーブルを BigQuery に作成する Datastream 用テンプレートをリリースしました。

本日、Elastic 社と共同で開発した新しいテンプレートセットがリリースされることをお知らせいたします。これらのテンプレートにより、データエンジニア、デベロッパー、サイト信頼性エンジニア（SRE）、セキュリティアナリストの皆様は、Google Cloud Console でわずか数クリックするだけで BigQuery、Pub/Sub、Cloud Storage のデータを Elastic Stack に取り込めるようになります。一度作成した Dataflow テンプレートはサーバレス方式で実行されるため、インフラストラクチャのサイズ変更や設定、サーバーの管理は不要です。さらに、これらのテンプレートの設定と運用を行うために、分散型システムに関する専門知識は必要ありません。Elastic に取り込まれたデータは Elasticsearch と Kibana を使用して簡単に検索し、可視化できるので、Google Cloud で実施可能な分析を補完できます。

Elastic Cloud でプロダクトリードを務める Uri Cohen 氏は次のように述べています。「Google Cloud に Elastic を組み合わせることで、これまでになく簡単にデータの探索と分析ができます。Google Dataflow テンプレートを活用することで、BigQuery、Cloud Storage、Pub/Sub などの Google Cloud サービスからデータを取り込むことができ、エージェントのインストールや管理は必要ありません。」

テンプレートは非常に簡単に使用できます。Google Cloud Console で [Dataflow] に移動し、[テンプレートからジョブを作成] を選択して、プルダウンメニューからいずれかの Elastic テンプレートを選択してください。