Google Cloud、AI 活用を促進する新たなデータアナリティクス製品を提供

※この投稿は米国時間 2024 年 8 月 2 日に、Google Cloud blog に投稿されたものの抄訳です。

AI イノベーションを推進する上で、データは最も重要です。調査によると、CxO の 96% は、生成 AI があらゆる組織の成功に不可欠になると認識しているほか、従業員のタスクの 70% は生成 AI やその他のテクノロジーによって自動化される可能性があると考えています。しかし、真のエンタープライズ向け生成 AI の採用を阻む大きな障害は、データのアクセシビリティです。Google Cloud Data and AI Trends Report 2024 によると、66% の組織がデータの半分以上がダーク データであると報告しており、さらにこれらのデータの多くは構造化されておらず、管理もされていません。

データリーダーは、新規顧客の開拓、製品やプロセスの革新、従業員のトレーニングなどに、これまでにない変化を創造することができます。すべてのビジネスデータを AI と連携させることで、文脈を認識し、常に改善されるデータ分析情報でチームを強化する機会があるのです。

AI 対応のデータ プラットフォームは、データ ウェアハウスやデータレイクなどのレガシーな世界から脱却し、形式に関係なくすべてのデータを受け入れることで、組織の情報の取り扱い方法を刷新しています。これらのプラットフォームは、データ管理を単一の環境に統合し、ガバナンスを簡素化、セキュリティの確保を支援します。ほかにも、画像、動画、テキストから意味のある洞察を簡単に抽出し、大規模言語モデル (LLM) とのリアルタイム インタラクションにより意思決定プロセスを強化することもできます。AI 対応のデータプラットフォームは、単なるトレンドではなく、今日のデータドリブンな環境で競争力を維持するための戦略的な必須事項なのです。

Google Cloud は、2023 年には前年比 60% 増の 350 以上の新しいデータ分析機能を提供しました。これには、企業のデータチームの作業を加速させる新たな生成 AI 機能や、BigQuery と Vertex AI および Gemini モデルの統合を通じてデータ プラットフォームへの AI 連携などが含まれます。2024 年には、データから AI までをつなぐ統合プラットフォームである BigQuery にさらに新機能を導入する予定です。今後数週間で、さらに多くの新しいイノベーションと充実した生成 AI 機能の一般提供とプレビューを開始し、データの AI ジャーニーをサポートします。

以下の新機能を発表します。

• Gemini in BigQuery： データ エンジニアリング、データの探索と分析、ガバナンス、セキュリティ タスクに AI を活用したエクスペリエンスを提供します。これには、コード生成、補完と説明 (SQL、Python)、データ インサイト、データ キャンバス、データの準備、パーティション分割とクラスタリングの推奨事項などの Gemini in BigQuery 機能が含まれます。

• Gemini in Looker ：AI を活用した数式アシスタントにより、データを探索し、複雑な数式から指標を作成できるようにする機能や、分析結果をスライドに直接送信し、Gemini を活用して説得力のあるプレゼンテーションを作成するスライド生成機能など、Google Workspace とシームレスに統合されています。あらゆるタイプのユーザーが、BigQuery データや Looker モデルとチャットするだけで、即座に実用的な洞察を得ることができます。

• BigQuery の統合データ プラットフォーム：SQL、Spark、Vertex AI との統合により、構造化データ、非構造化データ、およびオープン フォーマットのデータをシームレスに分析できるようになりました。Iceberg オープン フォーマットのサポートは、データを自動的に最適化し、コスト パフォーマンスを高めることもできます。さらに、Delta フォーマットの一般提供を発表し、ネイティブにサポートするオープンデータ形式のリストを拡大します。

• オープンソース Apache Spark および Apache Kafka のデータストリーミングと処理をサポートし、サーバーレス な Spark を活用して、高速性、汎用性、スケーラビリティを備えたデータ処理を実現できるほか、Apache Kafka を使用してリアルタイムに洞察を抽出し、迅速にアクションを実行することもできます。

• Analytics Hub からのリアルタイム ストリーミング：Analytics Hub 内のリアルタイム データ フィードを購読してアクセスしたり、共有トピックへのアクセスを大規模に管理したりし、データ セキュリティとコンプライアンスを確保できます。これは、AnalyticsHub を介したデータパブリッシャー機能と Pub/Sub ストリームの強化によって可能となります。また、Analytics Hub と Google Marketplace との統合により、データセット、モデル、ストリームなどの商用資産を購入および販売できる AI とデータのマーケットプレイスで、最新の情報を活用した迅速な意思決定をサポートし、商品化が容易にできます。

•  データ移行サービスと強化された データ移行サービス ツール：移行のリスクを軽減し、システム費用とデータ転送料金の前払いクレジットを提供し、移行サービスの費用をカバーする資金を提供します。さらに、Google Cloud の移行サービス ツールにより、データ ワークロードの価値実現までの時間を短縮し、移行コストとデータ転送 コストを抑えることができます。

「Google Cloud は、AI 対応のデータ エコシステムを強化し続けています。Gemini の統合は、イノベーションを促進し、データと情報のユース ケースを強化する、生成 AI 拡張の一例です。BigQuery で見られるイノベーションのような、プラットフォームの統合により、データ プラットフォームの移行を検討している顧客は、あらゆるプロセスをよりシンプルかつ容易に行うことが可能になります。」- Constellation Research, Inc.、副社長兼主席アナリスト Doug Henschen 氏

生産性を高める Gemini データ エージェント

Gemini in BigQuery は、データの準備、探索と分析、ガバナンスとセキュリティなど、AI を活用したエクスペリエンスをデータ ジャーニー全体を通じて提供し、ユーザーの生産性向上、コスト最適化のためのインテリジェントなレコメンデーションも提供します。

Next' 24 で発表した SQL と Python のコード支援、データ キャンバス、パーティショニングとクラスタリングの推奨などの Gemini in Big Query 機能の一般提供を開始します。

インドネシアのフィンテック プロバイダーである Julo は、Gemini in BigQuery を使用して SQL テンプレートの作成効率を高め、ワークフローを改善しています。

「Gemini in BigQuery は、当社のクエリ生成プロセスを変革しています。BigQuery への統合により、SQL テンプレートの生成が容易になり、重要な機械学習モデルモニタリング クエリを含むラベルとフィーチャー エンジニアリングの効率が向上しました。複雑なデータ構造を理解し、正確なクエリを提供する Gemini の能力により、当社のワークフローはこれまで以上にスムーズかつ迅速になりました。」 - Julo、最高データ責任者 Martijn Wieriks氏

グローバル パフォーマンス マーケティング ソリューションを提供する Wunderkind は、Gemini in BigQuery とデータ キャンバスを使用して調査と探索を行い、クエリの可視化を簡素化することで、データチームの作業時間削減とリソースの最適化を実現しています。

「複数のクエリが発生するあらゆる種類の調査や探索的な作業には代替の手段がありません。Gemini in BigQuery のおかげで、時間と精神的な負担を大幅に軽減できました。」 - Wunderkind、データおよび分析担当バイス プレジデント Scott Schaen 氏

数式アシスタントやスライド生成などの Gemini in Looker の機能がプレビュー版で利用可能になったため、インフォメーション ワーカーはデータとチャットできるようになりました。複雑な数式を覚えることなく、すぐに計算フィールドを作成できます。自動スライド生成により、データの洞察をテキスト要約し、インパクトのあるプレゼンテーションを作成できます。

Conversational Analytics は、組織のデータ活用方法を変革しています。データとチャットするだけで、すぐに実用的なインサイトが得られることを想像してみてください。これはアナリストにとって画期的な進歩であり、レポート作成の無限のサイクルからアナリストを解放し、ビジネスユーザーには真のセルフサービス分析を提供します。 

このアプローチは、単純な質問のやり取りと図表作成に留まりません。高度な言語モデルを活用して、データを通じてユーザーに要約を提供し、さらには自動でインサイトを表示します。これにより、重要な情報の見落としを防ぎます。Google Cloud は、Conversational Analytics をポートフォリオ全体に統合する取り組みを進めています。Looker のユーザーは、すでにスタンドアロンのチャット クライアントを利用できます。さらに、Looker Studio への移行により、より柔軟にダッシュボード作成やレポートの微調整が可能となります。

AI 対応の統合データ プラットフォームで簡素化

BigQuery を活用することで、すべてのデータを AI に対応させることができます。Google Cloud Next ‘24 では、BigQuery がマルチモーダル、マルチエンジン、マルチクラウドに対応した単一の統合プラットフォームとなることを発表しました。

さらに、BigQuery から Vertex AI へのファーストパーティ データ結合を構築し、AI モデルへの直接アクセスと、エンタープライズ データを使用した LLM のファインチューニングで、モデルの一貫性と精度を高めます。また、データが保存されている場所で AI を活用するために、BigQuery で直接ベクトル インデックスを使用する新しいクエリ機能も発表しました。効率的なバッチ ベクトル検索のための BigQuery のベクトル インデックス の Google の ScaNN アルゴリズム サポートも追加しました。また最近では、最新の Gemini モデルのサポートのほか、安全性の強化とグラウンディングのサポートも BigQuery に追加しました。

「Veo は BigQuery に切り替えたことで、データへのアクセス、理解、および使用方法が大きく変わりました。他の Google Cloud ソリューションと直接統合できるため、アクセシビリティが向上したほか、洞察が迅速に得られるようになったため、組織全体に大きな影響を及ぼす可能性を秘めています。技術者でないチームメンバーでも、BigQuery を使用してアドホック分析を行うことができ、分析チームは価値の高いプロジェクトに取り組む時間を確保できます。 - Veo、シニア データ サイエンティスト Max Schuman 氏

Macquarie Bank は、Google Cloud と共同でオーストラリアの顧客向けに新たなデジタル バンキング サービスの開発を進めています。すべてのデータを一元化することで、生成 AI を含む最新の AI テクノロジーとの容易な接続、規模の拡大を可能にし、顧客が金融サービスと対話する新たな方法を構築しています。

画像、音声、動画形式などの非構造化データをオブジェクト テーブルで管理するために BigQuery を利用するユーザーが増えており、その使用量は前年比で 600% 以上増加しています。BigQuery 用のオープンストレージ エンジンである BigLake は、単一のプラットフォームでオープンな構造化データと非構造化のマルチモーダルデータを分析する機能を、フルマネージドの Apache Iceberg エクスペリエンスとともに提供し、フルマネージドでストリーミングされ、AI に最適化されたオープン レイクハウスを構築できます。Google Cloud Next '24 において、複数のエンジン間で相互運用する単一のランタイム  メタストアや、Parquet や Apache Iceberg などのオープン フォーマット テーブル タイプなど、オープン マルチフォーマットおよびマルチモーダル プラットフォームをさらに実現するための BigLake の基本的な機能を発表しました。さらに、 Delta Lake の一般提供を開始し、オープン フォーマットのサポートを継続しています。最後に、BigQuery で一般提供を開始したワークフローとスケジューリングの機能強化により、データ チームはデータ パイプラインを自動化できるようになりました。

「Deutsche Telekom は、現在および将来のビジネスニーズを満たすように設計された革新的な方法で、水平方向にスケーラブルなデータプラットフォームを構築しました。BigQuery を One Data Ecosystem の中心に据えることで、信頼できる単一の情報源を維持しながら、データチーム全体でデータの分散利用を促進するための統一されたアプローチを構築しました。 - Deutsche Telekom、データ アーキテクチャ担当副社長 Ashutosh Mishra 氏

データ処理とストリーミングが容易に

Apache Spark は、特にデータ エンジニアリング タスクで人気のデータ処理ランタイムになりました。実際、Google Cloud におけるサーバーレス Apache Spark の利用は、過去 1 年間で 500% 以上増加しました。BigQuery に新しく統合された Spark エンジンを使用すると、SQL の場合と同様に PySpark を使用してデータを処理できます。BigQuery と同様に、Spark エンジンは完全にサーバーレスであり、コンピューティング インフラストラクチャを管理する必要はありません。

多くの企業にとって、Apache Kafka を実行することは、複数のクラウド ベンダーやオンプレミス ディストリビューションにまたがる多数のクラスターを管理することを意味しています。多くのお客様から、Google Cloud 上で Apache Kafka クラスタをより簡単に実行したいという声をいただいています。 現在では、Google Cloud Managed Service for Apache Kafka を Google Cloud コンソールで直接使用して、どのプロジェクトでも Google Cloud コンソールで直接 Kafka クラスターを起動できます。このマネージド サービスは、Kafka の運用とセキュリティを自動化すると同時に、ストリーミング分析を大規模に実行し、ユーザー向けの運用システムと統合する機能をお客様に提供します。

ストリーミング データは、パートナーやお客様とリアルタイム データを共有する必要がある業界においても重要です。たとえば、小売業者は、在庫レベルを消費財企業とリアルタイムで共有して、フルフィルメントをリアルタイムで可視化したい場合があります。BigQuery からデータをリアルタイムで簡単に共有し、収益化を可能にする Analytics Hub の Pub/Sub トピックによるストリーミング データの共有のプレビューを発表します。Pub/Sub は、信頼性の高い大規模なデータ ストリーミングのために世界的に使用されているメッセージング サービスです。BigQuery のデータ交換プラットフォームである Analytics Hub は、数千の企業で利用されており、1 週間で数百ペタバイトものデータを組織の垣根を超えて安全に共有し、コピー作業をなくしています。この新しい統合により、ストリーミングデータの管理された共有、データアクセスの一元管理、他組織からの貴重なデータの発見がすべてリアルタイムで可能になります。

クラウドへのデータ移行を加速し、AI に対応

AI 時代に備えるため、データのクラウド移行は欠かせません。この度、データと AI を活用して価値実現までの時間を短縮するために、データ ウェアハウスとデータレイクを対象としたデータ プラットフォーム移行インセンティブ プログラムと、強化された BigQuery 移行サービス ツールの強化を発表します。これにより、マルチモーダル データから SQL、Spark、Python まで、あらゆる種類のデータとワークロードを Google Cloud に移行することがこれまで以上に容易になりました。Google Cloud で Data Cloud ジャーニーを始めるには、データと AI 戦略の評価を受けてエンタープライズ データを AI に活用したイノベーションを加速させましょう。

-Google Cloud、データ分析担当バイス プレジデント兼ゼネラル マネージャー、Gerrit Kazmaier