Esta página discute os preâmbulos personalizados e como você pode escrever preâmbulos para melhorar a qualidade das respostas geradas.
O preâmbulo define o contexto inicial e as expectativas para o LLM antes de processar o documento de entrada. O preâmbulo influencia a qualidade dos resumos gerados. Há um preâmbulo padrão fornecido sempre que você chama o método answer. No entanto, você tem a opção de especificar seu próprio preâmbulo em vez de usar o padrão.
Para instruções sobre como especificar o preâmbulo na chamada de método de resposta, consulte Especificar um preâmbulo personalizado.
Por exemplo, você pode usar o preâmbulo para fazer o seguinte:
Especifique as palavras que o modelo pode e não pode usar.
Especifique tópicos para se concentrar ou para evitar.
Especifique o estilo, o tom e o formato da resposta.
Personalizar o preâmbulo pode melhorar significativamente a qualidade dos resumos.
O preâmbulo deve ter duas partes:
A descrição da tarefa, que descreve a tarefa que você está pedindo para o LLM executar. Confira Exemplos de descrições de tarefas.
Outras instruções que o LLM precisa seguir. Consulte Exemplos e dicas para mais instruções.
Exemplos de descrições de tarefas
Confira alguns exemplos de descrições de tarefas. O cenário é que seus funcionários querem respostas de um repositório de dados que contém muitos documentos da empresa.
Exemplo 1
Descrição da tarefa para citar as fontes de forma abrangente:
Given a user query and a list of sources, write a response that cites individual
sources as comprehensively as possible.
Exemplo 2
Descrição da tarefa para entender o usuário e se concentrar na utilidade:
You are an enterprise LLM summarization tool. Your task is to understand the
true intent of a user question in the context of enterprise search and
summarization, and provide a helpful answer to the user's question.
Exemplo 3
Descrição da tarefa para resumir uma conversa entre um cliente e um assistente:
Given the conversation between a customer and a helpful assistant with some
search results, create a final answer for the assistant.
Exemplos e dicas para instruções adicionais
As instruções adicionais devem capturar seus requisitos principais específicos.
A tabela a seguir mostra exemplos de outras instruções que você pode fornecer após a descrição da tarefa, que tipo de problemas cada exemplo aborda e por que o preâmbulo resolve o problema.
| Problema a ser resolvido | Solução | Exemplos |
|---|---|---|
| As respostas precisam ser mais personalizadas para atender às necessidades da empresa | Forneça mais contexto e instruções para garantir que o resumo seja personalizado para o caso de uso específico e o público-alvo. |
Exemplo 1
Utilize the specific context of the workspace (e.g. meeting notes, public
guidance, FAQ) to provide more accurate and relevant summaries.
Exemplo 2
Summarize customer feedback, focusing on their pain points, feature
request and overall satisfaction. Highlight any actionable insights that
can help improve our product or service.
Exemplo 3
For input documents of troubleshooting website, please summary the
problem statement, step-by-step solutions and any relevant tips or
warnings.
Exemplo 4
"XYZ" is an internal forum for engineers to discuss technical problems,
you can use it to summarize technical issues, proposed solutions and any
unresolved challenges or next steps identified in the discussion.
|
| A resposta precisa estar em um estilo específico | Especifique claramente o estilo ou tom e o público-alvo. |
Exemplo 1
Summarize troubleshooting guide for customer support agent in a clear and
concise manner. The summary should be easy for a non-technical user to
understand.
Exemplo 2
Summarize the technical documents for engineers. Focus on the core
functionality, system architecture, and potential challenges.
|
| A resposta precisa estar em um formato específico | Especifique o formato da saída |
Exemplo 1
Use bullet points for steps, numbered lists for rankings, tables for
comparisons, code block for coding example
Exemplo 2
Summarize the key takeaways in a numbered lists
|
| A resposta precisa ser curta | Instrua explicitamente o LLM a gerar resumos "concisos" ou "curtos". Também é possível especificar a contagem de palavras ou frases, se aplicável. |
Exemplo 1
Please keep summaries concise and focused, providing only the most
essential information to address the user's query.
Exemplo 2
The answer should be less than 200 words.
|
| A resposta precisa ser mais abrangente | Incentive o advogado a incluir detalhes e pontos importantes. |
Exemplo
Please ensure key details are included.
|
| Inclusão de temas proibidos | Defina como o modelo deve responder em determinadas situações. |
Exemplo
For political questions, the most helpful way is to politely refuse to
answer the question.
|
| Reduzir a alucinação (informações incorretas) | Enfatize a importância da precisão e instrua o LLM a seguir estritamente as informações apresentadas no texto. |
Exemplo 1
Keep the summary accurate, ensuring all claims are verifiable within the given context.
Exemplo 2
Use exact words from the context if possible.
|
Exemplos de preâmbulo completo
Confira mais alguns exemplos de preâmbulo completo, composto pela descrição da tarefa e pelas instruções adicionais.
Exemplo 1
Solicite um resumo conciso, preciso e relevante e apresente-o em um formato fácil de usar.
You are an enterprise LLM summarization tool. Your task is to understand the
true intent of a user question in the context of enterprise search and
summarization, and provide a helpful answer to the user's question. Please keep
summaries concise and focused, providing only the most essential information to
address the user's query.
Please also structure and format the summary by
1) prioritize most relevant and accurate information to user's question
2) highlight critical information
3) structure the response and adapt the formatting to be user friendly (e.g.,
use bullet points for steps, numbered lists for rankings, tables for
comparisons, code block for coding example, etc).
Exemplo 2
Forneça uma resposta final concisa, amigável e útil à consulta de um cliente com base em uma conversa.
Given the conversation between a customer and a helpful assistant with some
search results, create a final answer for the assistant.
The answer should addresses the query accurately and concisely (less than 10
sentences), while also being friendly and helpful. If the search results don't
provide enough information to fully answer the question, suggest additional
resources or steps the customer can take.
Exemplo 3
Forneça respostas abrangentes e compreensíveis e cite as fontes. Não responda a perguntas políticas.
Given a user query and a list of sources, write a response that cites individual
sources as comprehensively as possible.
The response should be suitable for a non-expert audience.
For political questions, the response should be a polite refusal to answer the
question.
Práticas recomendadas
Confira a seguir algumas práticas recomendadas para escrever e ajustar o preâmbulo:
Refinamento iterativo:teste diferentes variações de preâmbulo e observe o impacto na qualidade da resposta.
Feedback do usuário:colete feedback dos usuários para identificar problemas recorrentes e áreas de melhoria.
Fique por dentro:a eficácia do ajuste do preâmbulo pode variar dependendo da versão do modelo e da natureza dos documentos. Faça experimentos e aprimore sua abordagem continuamente para alcançar os resultados ideais.
Avaliação completa:verificar o preâmbulo modificado em todos os casos de uso previstos ajuda a identificar e mitigar possíveis vieses ou comportamentos inesperados que possam afetar negativamente a qualidade do resumo em determinados cenários.