Denodo と Vertex AI を使用して、生成 AI アプリケーションのためにエンタープライズ データを活用する

※この投稿は米国時間 2024 年 7 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。

生成 AI と大規模言語モデル（LLM）にエンタープライズ データを活用すると、データサイロ、品質の整合性のなさ、プライバシーとセキュリティの懸念、データ規制の遵守、ドメイン固有の知識の取得、固有のバイアスの軽減など、大きな課題が生じます。組織は、断片化されたデータソースを統合して、データの完全性を確保し、倫理的配慮に対処するという複雑な問題を乗り越える必要があります。

検索拡張生成（RAG）などの手法は、エンタープライズ生成 AI アプリと実際のエンタープライズ データ間のギャップを埋めるのに役立ちます。RAG は優れたツールであり、LLM によって自然言語から SQL への変換が可能になりましたが、複雑で異種混合データ環境にエンタープライズ データが散らばっている状況では、これらの機能では不十分です。chatbot を拡張して 1 つのデータベースをクエリするのは簡単ですが、EDW、データレイク、オンプレミスの複数のアプリケーション、SaaS を含む複雑なシステムはどうすれば処理できるのでしょうか。その一方で、エコシステム全体でセキュリティの整合性も確保し、ガバナンス、リネージ、ドキュメント、データ品質を強化するにはどうすればよいでしょうか。

Denodo のデータ仮想化テクノロジーと Google の Vertex AI テクノロジーを組み合わせることにより、これらの課題と機会に対処することができます。Denodo では、単一のアクセス ポイントが提供されるため、さまざまなソースから得られたデータの統合された仮想ビューを作成することが可能です。一方、Google の Vertex AI エンべディング、基盤モデル、LangChain によるベクトル検索機能は、仮想化データレイヤから関連情報をインテリジェントに取得し、合成、処理できる生成 AI アプリケーションを構築するのに役立ちます。

上の例では、住宅ローン処理会社が Vertex AI 上で Denodo のデータ仮想化を RAG モデルと統合し、生成 AI と大規模言語モデルを使用して複雑なクエリやタスクを効率的に処理する機能を融資担当者に提供しています。データ仮想化レイヤにより、EDW、CRM システム、融資取組ソフトウェア、コンプライアンス文書などの断片化されたデータソースが統合され、RAG モデルが包括的な最新情報にアクセス可能になります。融資担当者が自然言語クエリを送信すると、検索コンポーネントが資格要件や規制ガイドラインなどの関連データを仮想化されたソースから取得します。その後、言語モデルがそれを処理し、顧客のニーズに合わせて、状況に応じた詳細なレスポンスを生成します。このアプローチにより、顧客の事前審査、融資パッケージの準備、引受会社のリクエストへの対応などの複雑なプロセスが合理化されるため、融資担当者は生成 AI の機能を活用しながら、正確性とコンプライアンスを確保し、パーソナライズされたサービスを提供できるようになります。

Denodo プラットフォームではデータ仮想化テクノロジーが活用されているため、AI アプリケーションを拡張する前にデータを移動または統合する必要がありません。AI アプリケーションが統合データにアクセスするための単一の統合ゲートウェイが提供され、これには次のように多くの重要な利点があります。

• LLM がすべてのエンタープライズ データ（ERP、オペレーション データマート、EDW、アプリケーション API）を操作し、クエリするための統合された安全なアクセス ポイント。

• 必要なビジネス コンテキストと知識（テーブルの説明、ビジネス定義、カテゴリ / タグ、サンプル値など）を LLM に提供する、機能豊富なセマンティック レイヤ。

• 基盤となる技術データビュー（LLM では使用が難しい場合があります）から分離および抽象化された論理データビューの迅速な提供。

• 最初に複数のデータセットを物理的に複製して結合しておく必要のない、LLM に対応した幅広い論理テーブルビューの提供。

• LLM が特定のデータソース制約や最適化された結合戦略に対処する必要がなくなる、組み込みのクエリ最適化。

• クエリに対する自然言語での回答に加えて、データの来歴、データ品質マーカー、推奨、警告などの追加要素を表示できるデータリネージなどのガバナンス ツール。

生成 AI 革命に加わる企業が増えるにつれ、この革新的なテクノロジーの可能性を最大限に引き出すうえで、データ マネジメントとデータ仮想化が重要な役割を果たすようになります。Google の Vertex AI と Gemini のような基盤モデルを組み合わせて活用することによって、組織は断片化されたデータソースを統合できます。その結果、生成 AI モデルは、エンタープライズ データの最新情報が反映された包括的な統合ビューにアクセスできるようになります。このアプローチにより、言語モデルからのより正確でコンテキストに沿った出力が可能になるだけでなく、データ ガバナンスとプライバシーに関する規則への遵守も容易になります。データ仮想化をバックボーンとして機能させることにより、企業は Vertex AI の機能を安心して活用し、革新的なアプリケーションを開発できるだけでなく、複雑なプロセスを合理化し、顧客と従業員の両方にパーソナライズされたエクスペリエンスを提供できるようになります。これにより、企業の日常業務や顧客とのやり取りに生成 AI が深く根を下ろす未来への道が切り開かれます。

Google Cloud のオープンで革新的な生成 AI のパートナー エコシステムについて、詳細をご覧ください。Google Cloud で Denodo を使い始めるには、Marketplace でこちらのリスティングをご覧ください。

-Google Cloud、クラウド パートナー エンジニアリング部門リード ソリューション コンサルタント Merlin Yamssi
-Denodo、テクノロジーおよびクラウド アライアンス担当ディレクター Ron Yu 氏