このページでは、カスタム プリアンブルと、プリアンブルを記述して生成される回答の質を高める方法について説明します。
プレアムは、入力ドキュメントを処理する前に LLM の初期コンテキストと期待値を設定します。プリアンブルは、生成されるサマリーの品質に影響します。answer メソッドを呼び出すたびに、デフォルトのプリアンブルが提供されます。ただし、デフォルトを使用する代わりに、独自のプリアンブルを指定することもできます。
answer メソッド呼び出しでプリアンブルを指定する方法については、カスタム プリアンブルを指定するをご覧ください。
たとえば、プリアンブルを使用して次のことができます。
モデルで使用できる単語と、できない単語を指定する。
重視するトピックと、避けるべきトピックを指定する。
レスポンスのスタイル、トーン、形式を指定する。
プリアンブルを調整することで、サマリーの品質を大幅に向上させることができます。
プリアンブルには次の 2 つの部分が必要です。
LLM に実行を依頼するタスクを記述するタスクの説明。タスクの説明の例をご覧ください。
LLM が従うべき追加の手順。追加の手順の例とヒントをご覧ください。
タスクの説明の例
タスクの説明の例を次に示します。シナリオは、社員が多くの社内ドキュメントを含むデータストアから回答を求めている場合です。
例 1
ソースを包括的に引用するタスクの説明:
Given a user query and a list of sources, write a response that cites individual
sources as comprehensively as possible.
例 2
ユーザーを理解し、役立つことに重点を置くタスクの説明:
You are an enterprise LLM summarization tool. Your task is to understand the
true intent of a user question in the context of enterprise search and
summarization, and provide a helpful answer to the user's question.
例 3
お客様とアシスタントとの会話を要約するタスクの説明:
Given the conversation between a customer and a helpful assistant with some
search results, create a final answer for the assistant.
追加の手順の例とヒント
追加の手順には、特定の主要要件を記載する必要があります。
次の表に、タスクの説明の後に追加で提供できる手順の例、各例で対処する問題の種類、プリアンブルで問題が解決する理由を示します。
| 解決すべき問題 | 解決策 | 例 |
|---|---|---|
| 回答はビジネスニーズに合わせてカスタマイズする必要がある | 特定のユースケースと対象ユーザーに合わせてサマリーを調整できるように、追加のコンテキストと手順を提供します。 |
例 1
Utilize the specific context of the workspace (e.g. meeting notes, public
guidance, FAQ) to provide more accurate and relevant summaries.
例 2
Summarize customer feedback, focusing on their pain points, feature
request and overall satisfaction. Highlight any actionable insights that
can help improve our product or service.
例 3
For input documents of troubleshooting website, please summary the
problem statement, step-by-step solutions and any relevant tips or
warnings.
例 4
"XYZ" is an internal forum for engineers to discuss technical problems,
you can use it to summarize technical issues, proposed solutions and any
unresolved challenges or next steps identified in the discussion.
|
| 回答は特定のスタイルで入力する必要がある | スタイルやトーン、対象オーディエンスを明確に指定します。 |
例 1
Summarize troubleshooting guide for customer support agent in a clear and
concise manner. The summary should be easy for a non-technical user to
understand.
例 2
Summarize the technical documents for engineers. Focus on the core
functionality, system architecture, and potential challenges.
|
| 回答は特定の形式とする必要がある | 出力形式を指定する |
例 1
Use bullet points for steps, numbered lists for rankings, tables for
comparisons, code block for coding example
例 2
Summarize the key takeaways in a numbered lists
|
| 回答は簡潔にする必要がある | 「簡潔な」サマリーまたは「短い」サマリーを生成するように LLM に明示的に指示します。 必要に応じて、単語数または文の数を指定することもできます。 |
例 1
Please keep summaries concise and focused, providing only the most
essential information to address the user's query.
例 2
The answer should be less than 200 words.
|
| 回答はより包括的である必要がある | 重要な詳細と重要なポイントを含めるように LLM に伝えます。 |
例
Please ensure key details are included.
|
| 禁止されているトピックを含む | 特定の状況でモデルがどのように応答すべきかを定義します。 |
例
For political questions, the most helpful way is to politely refuse to
answer the question.
|
| ハルシネーション（誤った情報）を減らす | 精度の重要性を強調し、テキストに記載されている情報に厳密に従うように LLM に指示します。 |
例 1
Keep the summary accurate, ensuring all claims are verifiable within the given context.
例 2
Use exact words from the context if possible.
|
完全なプリアンブルの例
以下に、タスクの説明と追加の手順で構成される完全なプリアンブルの例をいくつか示します。
例 1
簡潔、正確かつ関連性の高いサマリーをリクエストし、ユーザー フレンドリーな形式で提示します。
You are an enterprise LLM summarization tool. Your task is to understand the
true intent of a user question in the context of enterprise search and
summarization, and provide a helpful answer to the user's question. Please keep
summaries concise and focused, providing only the most essential information to
address the user's query.
Please also structure and format the summary by
1) prioritize most relevant and accurate information to user's question
2) highlight critical information
3) structure the response and adapt the formatting to be user friendly (e.g.,
use bullet points for steps, numbered lists for rankings, tables for
comparisons, code block for coding example, etc).
例 2
会話に基づいて、お客様の問い合わせに対して簡潔で親しみやすく、役立つ最終的な回答を提供します。
Given the conversation between a customer and a helpful assistant with some
search results, create a final answer for the assistant.
The answer should addresses the query accurately and concisely (less than 10
sentences), while also being friendly and helpful. If the search results don't
provide enough information to fully answer the question, suggest additional
resources or steps the customer can take.
例 3
包括的でわかりやすい回答を提供し、与えられたソースを引用します。政治的な質問には丁寧に回答を拒否します。
Given a user query and a list of sources, write a response that cites individual
sources as comprehensively as possible.
The response should be suitable for a non-expert audience.
For political questions, the response should be a polite refusal to answer the
question.
ベスト プラクティス
プリアンブルの作成とチューニングに関するベスト プラクティスは次のとおりです。
反復的な改良: さまざまなプリアンブルを試し、回答の品質への影響を観察します。
ユーザー フィードバック: ユーザーからのフィードバックを収集して、繰り返し発生する問題と改善すべき点を特定します。
最新に保つ: プリアンブル チューニングの効果は、モデルのバージョンとドキュメントの性質によって異なります。最適な結果を得るために、アプローチを継続的にテストして改善します。
徹底した評価: すべての想定されるユースケースで変更されたプリアンブルを検証すると、特定のシナリオでサマリーの品質に悪影響を及ぼす可能性のあるバイアスや予期しない動作を特定して軽減できます。