Google Distributed Cloud の生成 AI 検索ソリューションで機密データを迅速かつ安全に検索

※この投稿は米国時間 2024 年 12 月 20 日に、Google Cloud blog に投稿されたものの抄訳です。

近年は生成 AI により、組織が新たな方法でデータの処理と分析、隠れた分析情報の発見、生産性の向上、新しいアプリケーションの開発を行えるようになっています。しかし、データ主権、規制遵守、低レイテンシの要件が課題となる場合もあります。機密データを特定の場所に保管して、厳格な規制を遵守し、迅速に回答を返す必要があるために、イノベーション、スケーラビリティ、費用対効果といったクラウドの利点を活かしにくくなる可能性があります。

Google Distributed Cloud（GDC）を使用すると、Google AI サービスを、データセンターやエッジなど、お客様が必要とする場所で利用できるようになります。GDC は、AI とデータ量の多いワークロードを念頭に置いて設計され、豊富なサービスが揃ったフルマネージド型のハードウェアとソフトウェアのソリューションです。さまざまな拡張可能ハードウェア フォーム ファクタが用意されており、GDC マーケットプレイスを通じて業界をリードする独立系ソフトウェア ベンダー（ISV）のソリューションを利用できます。Google Cloud のシステムに接続して実行するか、パブリック インターネットとの間にエアギャップのある状態で実行するかも選択できます。

このブログ投稿では、GDC の新しい NVIDIA H100 Tensor Core GPU 搭載 AI 最適化サーバーと、現在プレビュー版が公開されている生成 AI 検索のパッケージ ソリューションについて詳しくご紹介します。このサーバーとソリューションにより、人気が高まっている検索拡張生成（RAG）をオンプレミス環境に導入し、マルチモーダルかつ多言語対応の自然言語検索をテキスト、画像、音声、動画のデータにわたり活用できるようになります。

生成 AI 最適化インフラストラクチャ

GDC エアギャップに、高度な NVIDIA Hopper アーキテクチャと第 5 世代インテル Xeon スケーラブル プロセッサを採用した NVIDIA H100 GPU 搭載の新しいサーバーが取り入れられました。この新しいサーバーにより、NVIDIA NVLink インターコネクト向けに最適化された新しい GPU 最適化 A3 VM ファミリーが GDC で実現し、最大 1,000 億パラメータの大規模言語モデルを使用する AI ワークロードのコンピューティングとメモリの共有がより高速になりました。また、NVIDIA マルチインスタンス GPU（MIG）プロファイル セットが拡張され、さまざまな新しい GPU スライス法（均一とミックスモードの両方）と GPU リソースの動的割り当てに対応するため、少ない所有コストで AI サービスのニーズを満たすことができます。

すぐに導入できるオンプレミスの会話型検索

GDC の新しい生成 AI 検索ソリューションを利用すれば、パラメータ数 90 億の Gemma 2 LLM を使用したオンプレミスの会話型検索ソリューションをすぐに導入できます。オンプレミスの機密データを簡単に検索ソリューションに取り込み、自然言語検索により最も関連性が高い情報やコンテンツをすばやく見つけることができるため、従業員の生産性と知識の共有が強化されます。また、検索クエリとデータはすべてオンプレミスに保持されます。

回答には、元のドキュメントへの引用リンクも含まれるため、すべての回答を簡単に検証し、ハルシネーションを減らすことができます。次のデモ動画で、実際のソリューション例をご確認ください。

GDC の生成 AI 検索ソリューションでは、回答の精度を上げるために、RAG アーキテクチャを使用して従来の検索と生成 AI の利点を組み合わせています。ユーザーのクエリは、回答を得るために LLM に送信される前に、関連するオンプレミス データで拡張されます。標準で付属するその他の重要なインテグレーションには、Vertex AI の事前トレーニング済み API（105 言語の翻訳、13 言語の音声文字変換、46 言語に対応し 24 言語を試験運用中の光学文字認識）があります。これにより、テキスト、画像、音声にわたり、マルチモーダルと多言語のデータの取り込みが可能です。また、取り込まれたデータのエンベディングの保存やセマンティック検索のための AlloyDB Omni データベース サービスも含まれます。

GDC は、そのオープン クラウド アプローチによって、ニーズに応じてソリューションをカスタマイズし、コンポーネントを入れ替えることもできます。たとえば、Elasticsearch など他のデータベース サービス、他のオープンソース モデルや LLM、組織独自のモデルを使用できます。

GDC の開発を始める

GDC の生成 AI 検索ソリューションのプレビュー版で、オンプレミスの生成 AI 検索によって情報の取得方法がどのように変わるのか体験を希望される場合は、Google アカウント担当者にお問い合わせください。その際には、プレビュー版のデプロイと実行に GDC デプロイメントが必要であることにご留意ください。

-Google Distributed Cloud プロダクト マネージャー Antoine Haas

-Google Distributed Cloud プロダクト マネージャー Bhuvi Chopra