Fornecemos vários exemplos de como usar o SDK de avaliação rápida para realizar avaliações nos seus modelos de IA generativa.
Avaliar e otimizar a criação de modelos de comandos
Use o SDK de avaliação rápida para avaliar o efeito da engenharia de comando. Examine as estatísticas correspondentes a cada modelo de comando para entender como as diferenças nos comandos afetam os resultados da avaliação.
Para conferir um exemplo completo, consulte o bloco Avaliar e otimizar a criação de modelos de comandos para gerar resultados melhores.
Avaliar e selecionar modelos LLM usando métricas de comparativo de mercado
Use o SDK de avaliação rápida para pontuar os modelos do Gemini Pro e Text Bison em um conjunto de dados de comparativo de mercado e uma tarefa.
Para conferir um exemplo completo, consulte o bloco Pontuar e selecionar modelos LLM.
Avaliar e selecionar configurações de geração de modelos
Use o SDK de avaliação rápida para ajustar a temperatura do Gemini Pro em uma tarefa de resumo e avaliar quality, fluency, safety e verbosity.
Para conferir um exemplo completo, consulte o bloco Avaliar e selecionar configurações de geração de modelos.
Definir as métricas
Use o SDK de avaliação rápida para avaliar vários modelos de comandos com suas métricas personalizadas.
Para conferir um exemplo completo, consulte o bloco Definir as próprias métricas.
Avaliar o uso da ferramenta
Use o SDK de avaliação rápida para definir uma função da API e uma ferramenta para o modelo do Gemini. Também é possível usar o SDK para avaliar o uso da ferramenta e a qualidade da chamada de função no Gemini.
Para conferir um exemplo completo, consulte o bloco Avaliar o uso da ferramenta de modelo generativo e a chamada de função.
A seguir
- Saiba como começar a avaliar modelos rapidamente.
- Saiba mais sobre avaliação de IA generativa.
- Saiba mais sobre a avaliação on-line com uma avaliação rápida.
- Saiba mais sobre a avaliação em pares baseada em modelo com o pipeline AutoSxS.
- Saiba mais sobre o pipeline de avaliação baseado em computação.
- Saiba como ajustar um modelo de fundação.