Duet AI no Google Cloud e IA responsável

Este documento descreve como a Duet AI foi projetada tendo em mente as capacidades, as limitações e os riscos associados à IA generativa.

Recursos e riscos dos modelos de linguagem grandes

Os modelos de linguagem grandes (LLMs) podem executar muitas tarefas úteis, como estas:

  • Traduzir idioma.
  • Resumir.
  • Gerar códigos e textos criativos.
  • Capacite chatbots e assistentes virtuais.
  • Complemente mecanismos de pesquisa e sistemas de recomendação.

Ao mesmo tempo, a evolução dos recursos técnicos dos LLMs cria o potencial de uso indevido, uso indevido e consequências não intencionais ou imprevistas.

Os LLMs podem gerar resultados inesperados, incluindo texto ofensivo, insensível ou factualmente incorreto. Como os LLMs são incrivelmente versáteis, pode ser difícil prever exatamente que tipos de saídas não intencionais ou imprevistas eles podem produzir.

Devido aos riscos e complexidades, a Duet AI no Google Cloud foi projetada com os princípios de IA do Google em mente. No entanto, é importante que os usuários entendam algumas das limitações da tecnologia para trabalhar com segurança e responsabilidade.

Limitações da Duet AI no Google Cloud

Algumas das limitações que você pode encontrar ao usar a Duet AI no Google Cloud incluem, entre outras:

  • Casos extremos. Casos extremos referem-se a situações incomuns, raras ou excepcionais que não são bem representadas nos dados de treinamento. Esses casos podem levar a limitações na saída da Duet AI, como excesso de confiança do modelo, interpretação incorreta do contexto ou saídas inadequadas.

  • Alucinações artificiais, embasamentos e fatos. A Duet AI no Google Cloud pode não ter embasamento e factualidade no conhecimento do mundo real, propriedades físicas ou compreensão precisa. Essa limitação pode levar a alucinações de modelos, em que a Duet AI pode gerar saídas que parecem plausíveis, mas factualmente incorretas, irrelevantes, inadequadas ou sem sentido. Alucinações também podem incluir a fabricação de links para páginas da Web que não existem ou nunca existiram. Para mais informações, consulte Como escrever comandos melhores para a Duet AI.

    Para minimizar as alucinações artificiais, usamos várias abordagens, como fornecer grandes quantidades de dados de alta qualidade para treinar e ajustar o modelo, e técnicas de engenharia de comando, como a geração aumentada de recuperação.

  • Qualidade e ajuste dos dados. A qualidade, a acurácia e o viés dos dados de comandos inseridos na Duet AI podem ter um impacto significativo no desempenho. Se os usuários inserirem solicitações imprecisas ou incorretas, a Duet AI poderá retornar respostas abaixo do ideal ou falsas.

  • Amplificação de viés. Os modelos de linguagem podem amplificar inadvertidamente os vieses existentes nos dados de treinamento, levando a resultados que podem reforçar ainda mais os preconceitos sociais e o tratamento desigual de determinados grupos.

  • Qualidade do idioma: Embora a Duet AI produza recursos multilíngues impressionantes nos comparativos de mercado que avaliamos, a maioria das nossas comparações (incluindo todas as avaliações de imparcialidade) está em inglês americano.

    Os modelos de linguagem podem fornecer uma qualidade de serviço inconsistente para diferentes usuários. Por exemplo, a geração de texto pode não ser tão eficaz para alguns dialetos ou variedades de idiomas porque eles são sub-representados nos dados de treinamento. A performance pode ser pior para idiomas diferentes do inglês ou variedades em inglês com menos representação.

  • Comparativos de mercado e subgrupos de imparcialidade. As análises de imparcialidade do Google Research da Duet AI não fornecem uma conta exaustiva dos vários riscos potenciais. Por exemplo, nos concentramos nos vieses relacionados a gênero, raça, etnia e religião, mas realizamos a análise apenas dos dados do inglês americano e dos resultados do modelo.

  • Conhecimento do domínio limitado. A Duet AI foi treinada na tecnologia do Google Cloud, mas pode não ter o profundo conhecimento necessário para fornecer respostas precisas e detalhadas sobre tópicos altamente especializados ou técnicos, levando a informações superficiais ou incorretas.

    Quando você usa o painel Duet AI no console do Google Cloud, a Duet AI pode não estar ciente do contexto completo dos projetos e ambientes específicos. Por isso, ela pode não conseguir responder perguntas como "Quando foi a última vez que criei uma VM?"

    Em alguns casos, a Duet AI envia um segmento específico do contexto ao modelo para receber uma resposta específica do contexto. Por exemplo, quando você clica no botão Sugestões para solução de problemas na página de serviço do Error Reporting.

Filtragem de segurança e toxicidade da Duet AI

Os comandos e respostas da Duet AI no Google Cloud são verificados em uma lista abrangente de atributos de segurança, conforme aplicável para cada caso de uso. Esses atributos de segurança têm como objetivo filtrar o conteúdo que viola nossa Política de Uso aceitável. Se uma saída for considerada prejudicial, a resposta será bloqueada.

A seguir