検索拡張生成（RAG）とは

RAG は、生成 AI の出力を強化するために、いくつかの主要な手順で動作します。

• 取得と前処理: RAG は、強力な検索アルゴリズムを活用して、ウェブページ、ナレッジベース、データベースなどの外部データをクエリします。関連情報が取得されると、トークン化、ステミング、ストップワードの削除などの前処理が行われます。
• 生成: 取得された情報の前処理が終わると、事前トレーニング済みの LLM にシームレスに組み込まれます。この統合により LLM のコンテキストが強化され、トピックをより包括的に理解できるようになります。この補強されたコンテキストにより、LLM はより正確で有益な、魅力的な回答を生成できるようになります。

RAG では、まず LLM によって生成されたクエリを使用してデータベースから関連情報を取得します。取得した情報は LLM のクエリ入力に統合されます。これにより、LLM はより正確でコンテキストとの関連性が高いテキストを生成できるようになります。RAG はベクトル データベースを活用します。ベクトル データベースには、効率的な検索と取得を容易にする方法でデータが格納されています。

RAG には、特に事実情報やデータドリブンなレスポンスを扱う場合に、従来のテキスト生成方法に比べていくつかの利点があります。RAG の使用が役立つ主な理由は次のとおりです。

従来の LLM は、多くの場合、事前にトレーニングされた知識とデータに限定されます。そのため、回答が古い場合や回答が不正確になる場合があります。RAG は、LLM が外部情ソースにアクセスできるようにすることでこれを克服し、正確で最新の回答を確保します。

LLM は、クリエイティブで魅力的なテキストを生成する強力なツールですが、事実の正確性がなかなか難しい場合もあります。これは、LLM が大量のテキストデータでトレーニングされていて、そのテキストデータに不正確さやバイアスが含まれている可能性があるためです。

RAG は、LLM がキュレートされたナレッジベースにアクセスできるようにして、生成されたテキストが事実に基づく情報によるものであることを確実にすることで、この問題の解決をサポートします。このことから、RAG はニュース報道、科学論文、カスタマー サービスなど、精度が重視される用途で特に有益です。

注: RAG は、ハルシネーションがエンドユーザーに送信されるのを防ぐのにも役立ちます。LLM はまだ場合によってはトレーニングが不完全な回答を生成しますが、RAG 手法はユーザー エクスペリエンスの改善に役立ちます。

RAG の検索メカニズムにより、取得された情報が入力クエリまたはコンテキストに関連していることが保証されます。

RAG は LLM にコンテキストに関連する情報を提供することで、与えられたコンテキストに沿った一貫性のある回答をモデルが生成できるようにします。

このコンテキストに基づく根拠づけにより、無関係な回答やトピックと無関係な回答の生成を減らすことができます。

RAG は、取得した事実に基づく情報と一致する回答を生成するよう LLM をサポートします。

RAG は、取得された知識に基づいて生成プロセスを条件付けることで、生成されたテキストの矛盾や不整合を最小限に抑えるのに役立ちます。

これにより、事実の一貫性が推進され、虚偽の情報や誤解を招く情報が生成される可能性が低くなります。

RAG はベクトル データベースを活用して、関連するドキュメントを効率的に取得します。ベクトル データベースは、ドキュメントをベクトルとして高次元空間に格納します。これにより、意味的類似性に基づいて高速かつ正確な検索が可能になります。

RAG は、LLM にコンテキストに合った情報を提供することで、LLM を補強します。LLM はこの情報を使用して、より一貫性があり、有益で、精度の高い回答を生成することができます。マルチモーダルな回答も生成できます。

RAG を chatbot システムに統合して、会話機能を強化できます。外部の情報にアクセスすることで、RAG を利用した chatbot が外部の知識を活用し、より包括的で情報に富み、コンテキストアウェアな回答を提供できるようにし、全体的なユーザー エクスペリエンスを向上させます。