A IA generativa baseia-se frequentemente em modelos de aprendizagem automática (ML) de grande escala que são pré-preparados com grandes quantidades de dados. Estes modelos são denominados modelos de base e servem de base para várias tarefas. Existem várias formas de personalizar os modelos base com a IA generativa no Vertex AI:
Ajuste: o ajuste envolve fornecer a um modelo um conjunto de dados de preparação de exemplos específicos relevantes para a tarefa a jusante escolhida.
- Ajuste supervisionado: esta técnica usa exemplos etiquetados para ajustar um modelo. Cada exemplo demonstra a saída escolhida para uma determinada entrada durante a inferência. O ajuste supervisionado é eficaz para tarefas em que o resultado esperado não é excessivamente complexo e pode ser claramente definido, como a classificação, a análise de sentimentos, a extração de entidades, o resumo de conteúdo menos complexo e a geração de consultas específicas do domínio. Pode ajustar os tipos de dados de texto, imagem, áudio e documentos através da aprendizagem supervisionada.
- Ajuste da aprendizagem reforçada pelo feedback humano (ARFH): este método é adequado quando a saída do modelo selecionado é mais complexa. A otimização com RLHF funciona bem para objetivos que não são facilmente diferenciados através da otimização supervisionada, como respostas a perguntas, resumo de conteúdo complexo e geração de conteúdo criativo.
Destilação: a destilação envolve frequentemente o treino de um modelo "aluno" mais pequeno para imitar o comportamento de um modelo "professor" maior e mais capaz.
Formação de modelos de adaptadores: isto envolve a formação de modelos de adaptadores (ou camadas) mais pequenos que funcionam em conjunto com um modelo base para melhorar o desempenho em tarefas especializadas. Os parâmetros do modelo base original são frequentemente mantidos inalterados e apenas os pesos do adaptador são atualizados durante a preparação.
Fundamentação: embora não seja um método de preparação, a fundamentação é um aspeto fundamental para garantir a fiabilidade dos resultados da IA generativa. A fundamentação envolve a ligação da saída do modelo a fontes de informações verificáveis, reduzindo a probabilidade de conteúdo inventado. Isto envolve, muitas vezes, dar ao modelo acesso a origens de dados específicas durante a inferência.