あらゆるワークロードをデータ制限なく誰にでも提供できる、革新的な Data Cloud を発表

※この投稿は米国時間 2022 年 4 月 5 日に、Google Cloud blog に投稿されたものの抄訳です。

現在、データはさまざまな形式で存在し、リアルタイムで提供され、世界中のさまざまなデータセンターとクラウドにまたがっています。アナリティクス、データ エンジニアリング、AI/ML、データドリブン アプリケーションなど、データを活用・共有する方法は拡大し続けています。データはアナリストに限らず、今やすべての社員、お客様、そしてパートナーに影響を与えています。データ、ワークロード、ユーザーはその量と種類が劇的に増加しているため、クラウドで運用した場合であっても、従来のデータ アーキテクチャでは、その可能性を十分に引き出すことができない転換期にあります。その結果、データから価値への変換がますます難しくなっています。

こうした課題に対応するため、Google Cloud は本日、お客様があらゆるワークロード上のデータを制限なく処理し、すべての人にアクセスを提供できるようにするデータクラウドのイノベーションを発表しました。これらの発表には、お客様のデータの統合を推進し、リアルタイムな配信をサポートする BigLake と Spanner の変更ストリーム、AI においてデータから価値を創出する Vertex AI Workbench と Model Registry が含まれます。また、誰もがデータにアクセスできるよう、新しい Workspace との統合を含む統一されたビジネス インテリジェンス（BI）体験と、データクラウド パートナー エコシステムを強化する新たなプログラムも発表しました。

データのあらゆる制限を排除 

Google Cloud は本日、データレイクとウェアハウスを統合し、データの制限を取り払うデータレイク ストレージ エンジン BigLake のプレビュー版を発表しました。異なるデータレイクやウェアハウスでデータを管理するとサイロが生まれ、特にデータの移動が必要な場合はリスクとコストが増加します。企業は BigLake により、データ ウェアハウスやレイクを統合することで、基盤となるストレージ形式やシステムを意識することなくデータ分析を行うことが可能となるため、ソースからデータの複製や移動が不要となり、コスト削減と効率化が図れます。

BigLake では、Google Cloud にまたがる API インターフェイス、 Parquet などのオープン ファイル形式、Apache Spark などのオープンソース処理エンジンにより、細かなアクセス制御を行うことができます。これらの機能は、10 年に及ぶ BigQuery のイノベーションを Google Cloud Storage 上のデータレイクに拡張し、柔軟で費用対効果の高いオープン レイクハウス アーキテクチャを実現します。

Twitter は、BigQuery のストレージ機能を利用してデータの制限を取り除き、ユーザーがどのようにプラット フォームを利用し、どのような種類のコンテンツに興味を持つのかについて理解を深めています。その結果、1 秒間に 300 万以上の集計を実行する広告パイプラインで、1 日あたり数兆件のイベントに対してコンテンツを提供することができるようになりました。

本日発表したもうひとつの主要なイノベーションは、Spanner 変更ストリームです。この新製品は、お客様のデータ制限を取り払い、Spanner データベース内の変更をリアルタイムで追跡し、新たな価値の創出を支援します。Spanner 変更ストリーム は、Spanner の追加、更新、削除を追跡し、お客様の Spanner データベース全体の変化をリアルタイムでストリーミングします。これにより、お客様は常に最新のデータにアクセスすることができ、リアルタイム分析のために Spanner から BigQuery に変更を簡単に複製し、Pub / Sub を使って下流のアプリケーションの動作を起動させ、コンプライアンス遵守のために Google Cloud Storage（GCS）に変更を保存することが可能になります。現在、ピーク時に毎秒 20 億以上のリクエストを処理し、最大 99.999% の可用性を誇る Spanner は、変更ストリームの追加により、データ処理に関するあらゆる可能性をお客様に提供します。

データ ワークロードの制限を取り払う

Google Cloud の AI ポートフォリオは、モデルの構築、デプロイ、拡張に必要なあらゆる ML ツールを備えたマネージド プラットフォームである Vertex AI を搭載しており、BigQuery などのデータ ワークロードとシームレスに連携するよう最適化されています。本日発表した Vertex AI の新機能は、AI モデルの本番環境への導入をより迅速に行い、メンテナンスをより容易にし、合理的なエクスペリエンスをお客様に提供します。

現在一般提供されている Vertex AI Workbench は、データと ML システムを単一のインターフェースに統合し、チームがデータ分析、データ サイエンス、機械学習に共通のツールセットを利用できるようにします。BigQuery、Serverless Spark、Dataproc をネイティブ統合した Vertex AI Workbench により、従来の Notebooks よりも 5 倍速く ML モデルを構築、トレーニング、デプロイすることができます。実際、あるグローバルな小売業者は、Vertex AI Workbench によって数百万ドルの売上増を達成し、市場投入までの時間を 15 % 短縮しています。

Vertex AI を使用することで、お客様はモデルを定期的に更新することができます。しかし、膨大なアーティファクトの管理は容易ではありません。そこで、Google Cloud は、モデル メンテナンスの複雑さを解消し、管理を容易にする、Vertex AI Model Registry を用いた新たな MLOps 機能を発表しました。現在プレビュー中の Vertex AI Model Registry は、BigQuery ML にあるモデルを含む機械学習モデルを検出、使用、管理するための中央リポジトリを提供します。これにより、データ サイエンティストがモデルを共有し、アプリケーション開発者によるモデルの使用が容易になり、最終的にはチームがデータに基づくリアルタイムの意思決定を実現できるようになることで、市場の変化への迅速な対応が可能になります。

幅広いデータの利活用を実現

本日、Connected Sheets for Looker を発表しました。Data Studio 内で Looker のデータモデルにアクセスできるようになり、Looker Explore、Google スプレッドシート、ドラッグ＆ドロップ可能な Data Studio のインターフェースなど、お好みの方法でデータにアクセスすることができるようになりました。これにより、誰もが簡単にデータにアクセスし、洞察を得て、イノベーションを推進し、この新しい統合された Google Cloud BI プラット フォームでデータドリブンな意思決定を行うことが可能となります。この統一された BI エクスペリエンスにより、管理された信頼性の高い企業データの利用、新しいデータセットや計算の取り込み、同僚とのコラボレーションが容易になります。

中南米最大の e コマースと決済エコシステムである Mercado Libre は、Connected Sheets for Looker をいち早く採用しています。この統合により、従業員がすでに使い慣れているスプレッドシート インターフェースを介して、幅広いデータへのアクセスを提供することが可能になりました。参入障壁を低くすることで、誰もがデータを使って意思決定できるデータドリブンな文化を構築しています。

データクラウド・パートナー エコシステムへの投資を倍増

このようなデータ イノベーションでデータとその価値のギャップを埋めるには、Google Cloud の卓越したパートナー エコシステムが不可欠です。現在、700 社以上のソフトウェア パートナーが、Google のデータクラウドを使用してアプリケーションを強化しています。 Bloomreach、Equifax、Exabeam、Quantum Metric、ZoomInfo といった多くのパートナー企業は、Built with BigQuery イニシアチブを通じて Google のデータクラウド機能を利用し始めており、専用のエンジニアリング チーム、共同マーケティング、市場開拓サポートへのアクセスを提供しています。

Google Cloud のお客様は、BigQuery のような製品と緊密に統合および最適化されたパートナー ソリューションを求めています。こうしたニーズに対応すべく、本日、Google Cloud Ready - BigQuery を発表しました。これは、Fivetran、Informatica、Tableau のパートナー ソリューションなど、機能要件と相互運用性要件のコアセットを満たすものを評価する新しい認定制度です。この新しい Google Cloud Ready - BigQuery プログラムでは、すでに 25 社以上のパートナーを認定しており、新しいツールの評価に伴うお客様のコストを削減するとともに、お客様の新しいユースケースへのサポートを追加しています。

また、オンプレミスや他のクラウドから Google の業界をリードするマネージド データベース サービスへの迅速かつシームレスな移行を支援する、新しいデータベース移行プログラムも発表しました。これには、デロイトなどのパートナーから提供されるツール、リソース、専門知識や、データベースの移行コストを相殺するためのインセンティブが含まれます。

Google Cloud は、お客様が投資しているデータおよびアナリティクス分野のリーディング カンパニーとともに、継続的にイノベーションを推進していきます。今週、Databricks、Fivetran、MongoDB、Neo4j および Redis が、Google Cloud のお客様向けに主要な新機能を発表しました。

これら発表の詳細は、Data Cloud Summit でお伝えします。データクラウド戦略に関するセッションやブレイクアウト セッションの視聴、そしてハンズオン コンテンツへのアクセスについてはこちらのリンクをご参照ください。データの未来に無限の可能性があることは間違いなく、Google Cloud はこのデータ クラウド ジャーニーを皆様と共に歩むことを楽しみにしています。

- VP and GM of Database, Data Analytics, and Looker, Gerrit Kazmaier