Visão geral do ajuste de modelos do PaLM

O ajuste de um modelo básico pode melhorar o desempenho. Os modelos de fundação são treinados para propósitos gerais e, às vezes, não executam tarefas tão bem quanto você gostaria. Isso pode acontecer porque as tarefas que você quer que o modelo execute são tarefas especializadas que são difíceis de ensinar um modelo apenas usando o design de comandos. Nesses casos, é possível usar o ajuste de modelo para melhorar o desempenho de um modelo em tarefas específicas. O ajuste do modelo também pode ajudá-lo a aderir a requisitos de saída específicos quando as instruções não são suficientes. Nesta página, fornecemos uma visão geral do ajuste de modelos, descreve as opções disponíveis na Vertex AI e ajuda a determinar quando cada opção de ajuste precisa ser usada.

Visão geral do ajuste de modelos

O ajuste de modelos fornece um modelo com um conjunto de dados de treinamento que contém muitos exemplos de uma tarefa exclusiva. Para tarefas únicas ou de nicho, é possível conseguir melhorias significativas no desempenho do modelo ajustando o modelo em um número modesto de exemplos. Depois de ajustar um modelo, menos exemplos são necessários nos prompts.

A Vertex AI é compatível com os métodos a seguir para ajustar modelos de fundação:

  • Ajuste supervisionado: o ajuste supervisionado de um modelo de texto é uma boa opção quando a saída do modelo não é complexa e é relativamente fácil de definir. O ajuste supervisionado é recomendado para classificação, análise de sentimento, extração de entidade, resumo de conteúdo que não é complexo e gravação de consultas específicas do domínio. Para modelos de código, o ajuste supervisionado é a única opção.

  • Aprendizado por reforço com o ajuste de feedback humano (RLHF): o ajuste de RLHF é uma boa opção quando a saída do modelo é complexa e não é facilmente alcançada com o ajuste supervisionado. O ajuste de RLHF é recomendado para responder a perguntas, resumir conteúdo complexo e criar conteúdo, como uma reescrita. Os modelos de código não oferecem suporte ao ajuste de RLHF.

  • Destilação de modelo: a destilação é uma boa opção se você tem um modelo grande que quer reduzir sem prejudicar a capacidade dele de fazer o que você quer. O processo de destilação de um modelo cria um novo modelo treinado menor, que é mais barato de usar e tem menor latência do que o original.

Cota

Cada projeto do Google Cloud requer cota suficiente para executar um job de ajuste, e um job de ajuste usa oito GPUs. Se o projeto não tiver cota suficiente para um job de ajuste ou você quiser executar vários jobs de ajuste simultâneos nele, será necessário solicitar cota extra.

A seguinte tabela mostra o tipo e a quantidade de cota a ser solicitada, de acordo com a região em que você especificou o ajuste:

Região Cota de recursos Valor por job simultâneo

us-central1

Restricted image training Nvidia A100 80GB GPUs per region

8

Restricted image training CPUs for A2 CPU types per region

96

europe-west4

Restricted image training TPU V3 pod cores per region

64

Preços

Ao ajustar ou destilar um modelo de fundação, você paga o custo de execução do pipeline de ajuste ou destilação. Quando você implanta um modelo de fundação ajustado em um endpoint da Vertex AI, não há cobranças pela hospedagem. Para exibir previsões, você paga o mesmo preço de quando exibe previsões usando um modelo de fundação não ajustado (para ajuste) ou o modelo estudante (para destilação). Para saber quais modelos de fundação podem ser ajustados e refinados, consulte Modelos de fundação. Para detalhes sobre preços, consulte Preços da IA generativa na Vertex AI.

A seguir