AI 時代のデータ分析を再定義

※この投稿は米国時間 2023 年 8 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。

生成 AI の登場は、近年における最も重要なテクノロジー シフトの一つであり、変革における無限の可能性を企業にもたらしました。AI はすでに大きなメリットを Google のお客様にお届けしています。TIME などの企業は、顧客と交流してより堅牢なコミュニティを築くために生成 AI を活用する新たな可能性を模索しています。Wendy's はファーストフードにおける注文管理を刷新し、Orange は次世代型コンタクト センターについての模索を進め、Priceline は BigQuery の AI 機能を同社独自のアルゴリズムと組み合わせて使用することで顧客に合わせたサービスと商品のレコメンデーションを提供しています。今回発表する新機能により、お客様のイノベーションの可能性がさらに広がります。

データは生成 AI の中核をなす要素であり、Google はお客様が AI を使用してデータを有効活用できるよう支援すべく、新しいイノベーションをデータと AI のクラウドに取り入れます。

• まず、データとワークロードの相互連携を支援する BigQuery Studio を発表します。このインターフェースでは一元的にデータ エンジニアリング、分析、予測分析を行えるため、エンドツーエンドのデータ ワークフローが簡素化されます。追加機能により、簡素化されたデータ基盤がデータチームに提供されるとともに、非構造化データ、クロスクラウド分析、安全なデータ共有、およびガバナンスのサポートが強化されます。

• 次に、Vertex AI 基盤モデルのインテグレーションにより、BigQuery 内のデータに AI を使用できるようになります。リアルタイム モデル推論とベクトル埋め込みに関する新しいイノベーションにより、ビジネスデータに対して生成 AI を大規模かつ安全に実行できるようになります。

• 最後に、Google Cloud の Duet AI のプレビュー版でデータチームの生産性を高め、Looker、BigQuery、Dataplex などのプロダクトを使用するデータ作業を再構築します。

これらのイノベーションは、データと AI の可能性を活用して、顧客に合わせたカスタマー エクスペリエンスの提供、サプライ チェーンの効率化、運用費用の削減、収益拡大というビジネス価値を組織にもたらします。

BigQuery でエンドツーエンドのワークフローとデータを相互に連携

これまでデータチームでは、データ ウェアハウス、データレイク、ガバナンス、ML の管理にそれぞれ異なるツールを使用していたため、生産性が損なわれることがありました。データを扱うツールを相互に連携させるべく、このたびBigQuery Studio を発表いたします。プレビュー版として提供が開始される BigQuery Studio をご利用いただくことで、Google Cloud での一元的なデータ分析が可能になります。データ エンジニアリング、分析、および予測分析を 1 か所で行えるため、データチームはツールを切り替える必要がなく、エンドツーエンドのワークフローで作業方法が簡素化されます。

「Shopify は、データ サイエンスやエンジニアリングのトレンドの最先端に立ち続けるため、幅広いスキルセットを持つ人材の採用に投資してきました。BigQuery Studio の早期テストで、私たちは、ユーザーごとに異なるツールをシンプルに接続できる Google の能力がとても気に入りました。これは、BigQuery に期待しているスケールを犠牲にすることなくチーム内における非効率性を低減する良い機会だと考えています。」 - Shopify、データ エンジニアリング マネージャー Zac Roberts 氏

また、BigQuery Studio を使用すれば、インフラストラクチャ管理の負荷を増やすことなく、SQL、Python、Spark など各種言語を駆使してペタバイト規模の分析を簡単に実行できます。Notebooks は、Python コードを記述、編集する環境として人気があるため、BigQuery Studio に Colab Enterprise を統合しました。これは、Google Cloud のエンタープライズ レベルのセキュリティとコンプライアンスのサポートを Google Research によって開発された人気の Colab データ サイエンス ノートブックと組み合わせる新しいサービスです。

データ サイエンス ノートブックをより柔軟に選択できるようにするため、Hex、Deepnote、Jupyter との提携も拡大しました。さらに、BigQuery の DataFrame が提供するデータ構造を使用すれば、通常であればメモリの限界を超えてしまうような巨大なデータセットを持つお気に入りのノートブックにアクセスできます。

接続されていない非構造化データは、さらなる課題をデータチームにもたらします。動画、ドキュメント、ログファイル、音声録音には、生成 AI で活用できる貴重なデータが大量に含まれています。今回 Google は、構造化されたビジネスデータを非構造化データと統合する新機能を追加することに加え、データを移動せずに安全にアクセスできるよう支援策を講じます。これらのイノベーションには、次のようなものがあります。  

• BigLake で Hudi、Delta Lake などのオープンソース形式のサポートを拡大し、データレイクとウェアハウスを統合することでデータサイロを解消します。BigLake を使用し、複数クラウドをまたいでデータレイクとウェアハウスのワークロードを組み合わせる形態でのご利用規模は、この 6 か月で 27 倍増えて数百ペタバイトになりました。イノベーションには、大規模な取り込み向けの継続的なデータ最適化を提供する Apache Iceberg のパフォーマンス向上も含まれています。

• データを移動せずに分析およびトレーニングを行う機能強化が、BigQuery Omni のクロスクラウド マテリアライズド ビューとクロスクラウド結合で実現します。これで、複数のクラウドのデータを 1 つのレイクハウスに統合できます。さらに、Google Distributed Cloud の Spark インテグレーションにより、高速な分析的クエリ処理の能力がオンプレミスにまで拡張され、データ所在地の要件に対応できるようになります。

• データリネージ、品質、メタデータ管理に関する Dataplex の新しいガバナンス機能により、分析すべきデータを把握して、信頼できるデータソースで ML モデルをトレーニングできるようになるため、精度が向上します。

• BigQuery データ クリーンルームや Ads Data Hub for Marketers などプライバシーを重視する新しい接続を使用することで、Google と YouTube におけるキャンペーン パフォーマンスに対する理解が深まります。

AI をデータに活用して、生成 AI を管理、作成、スケーリング

お客様は、AI とデータの重要性に注目し続けています。分析データウェアハウスやレイクを使用して ML モデルを構築するお客様の多くは、BigQuery ML をその出発点とします。事実、過去 3 年間における BigQuery ML のお客様ご利用状況からは、250% を超えるクエリの増加が見られます。今年は、すでに数億の予測クエリとトレーニング クエリが BigQuery ML で実行されました。

生成 AI を活用してさらに優れたインサイトをデータから得られるようにするために、BigQuery から PaLM 2 など Vertex AI の基盤モデルに直接アクセスできるようになります。これにより複雑さが軽減され、データチームはシンプルな SQL ステートメントを大規模言語モデル（LLM）に対して安全にスケールすることで、果てしない分析情報の可能性がもたらされます。

BigQuery の新しいモデル推論を使用することで、お客様は TensorFlow、ONNX、XGBoost などの形式のモデル推論を実行できます。さらに、リアルタイム推論の新機能を使用してパターンを識別し、自動的にアラートを生成できます。

消費者予測プラットフォームの大手である Faraday は、従来データ パイプラインを構築して複数のデータセットを結合する必要がありました。今は、感情分析を簡素化できるだけでなく、顧客の感情を取得して追加の顧客についてのファースト パーティ データと結合し、それを LLM に再びフィードして高度にパーソナライズされたコンテンツを生成することが可能になりました。そして、これらの操作はすべて BigQuery 内で行えます。

モデルのチューニングについては、ベクトル検索とセマンティック検索を BigQuery に追加します。ベクトルとテキスト埋め込みは、テキストやイメージなどの非構造化データを効率的に検索および取得できるようにするものです。この機能により、生成 AI アプリケーションはより効率的に非構造化データを取得し、LLM にコンテキストを提供できます。さらに、モデルの根拠づけを行う Vertex AI Feature Store を使用すれば、BigQuery のベクトル埋め込みを自動的に同期できるようになります。

信頼できるデータにアクセスできることは、新しい AI モデルの構築およびトレーニングを行ううえで重要です。特に、金融サービス、小売、製造などの産業向けに特化したモデルの場合です。BigQuery ではこれまで CoreLogic、Dun & Bradstreet、TransUnion などの主要なデータ プロバイダのデータセットを提供していましたが、このたび Acxiom、Bloomberg、Equifax、Nielsen、Zoominfo など、数百ものプロバイダから提供される数千ものデータセットをご使用いただけるようになりました。これらのデータセットを利用できるため、Google Cloud は企業が新しい AI モデルを構築およびトレーニングするのに最適な場です。

Duet AI でデータチームの生産性を向上

スキルレベルを問わず、データチームが毎日の業務課題を解決し、生産性を高められるようにするために、常時稼働の生成 AI を活用したコラボレーターである Duet AI のプレビュー版が、Looker、BigQuery、Dataplex など Google のポートフォリオ内のさまざまなプロダクトでご利用いただけるようになります。Google の最先端の基盤モデルを搭載したこれらのイノベーションは、データのクリーンアップ、分析のための準備、質問への回答、トレンド予測に役立ちます。

技術者以外のユーザーに自然言語で分析情報を提供するため、Looker での Duet AI の提供を開始しました。このツールを使用すると、すばやく簡単に会話型のクエリを作成し、取得した結果からビジュアルやレポートを作成できます。さらに Duet AI は、インテリジェントな要約付きのプレゼンテーションを自動作成する機能、数式とビジュアル アシストを使用してすばやく計算式を作成する機能、および意図を理解したうえで LookML を使用してコードを迅速に作成する機能を提供します。

生成 AI と自然言語検索が一つになった Looker の Duet AI で私たちが目指しているのは、ユーザーが「Google に質問する」のと同じ感覚でビジネスデータと「対話」できるようにすることです。それは、すべての従業員に優れたデータ アナリストが 1 人ついているようなものです。

BigQuery の Duet AI は、BigQuery に直接統合された、ユーザーとのコラボレーションを可能にするエクスペリエンスです。SQL クエリや Python コードを書く際にコンテキストに沿った支援が受けられるため、データチームは分析と結果に集中できます。また、自動候補によるリアルタイムでのコード補完、完全な関数とコードブロックの生成、修正の推奨も可能です。そして、信頼できるデータへのアクセスを向上させるために、Dataplex の Duet AI は、ML アセットやデータセットに対して自然言語を使用したメタデータ検索を実行できます。ぜひご登録のうえ、Duet AI をお試しください。

「BigQuery の Duet AI は、コンテキストに沿った認識を提供し、Google Cloud の統合データ プラットフォームへの投資の価値を拡大します。このツールがあればカスタムモデルのトレーニング、ホスト、管理が不要になるため、アーキテクチャ面のメリットを実感しています。」 - Aritzia、データ エンジニアリング担当バイス プレジデント

AI 時代のシンプルさとスケール

Google は、世界が情報にアクセスする方法を一変させました。Google のデータと AI のクラウドで、新たなレベルのシンプルさ、スケール、セキュリティ、インテリジェンスをお客様のビジネスデータに提供できるようになりました。プロダクト イノベーションについて詳しく知り、導入事例を読み、開発エキスパートからの実践的な知識を習得するには、Google Cloud Next のデータ分析スポットライトとブレイクアウト セッションに参加するか、オンデマンドでご視聴ください。