IA responsável

Os modelos de linguagem grandes (LLMs, na sigla em inglês) podem traduzir idiomas, resumir textos, gerar textos criativos, gerar códigos, executar bots de bate-papo e assistentes virtuais e complementar mecanismos de pesquisa e sistemas de recomendação. Ao mesmo tempo, como uma tecnologia em estágio inicial, os recursos e os usos evolutivos dela criam potencial para uso indevido e consequências imprevistas ou imprevistas. Modelos de linguagem grandes podem gerar resultados inesperados, incluindo texto ofensivo, insensível ou incorreto.

Além disso, a incrível versatilidade dos LLMs também é o que dificulta a previsão exata dos tipos de saídas não intencionais ou imprevistas que podem produzir. Considerando esses riscos e complexidades, as APIs de IA generativa da Vertex AI são projetadas com base nos princípios de IA do Google. No entanto, é importante que os desenvolvedores entendam e testem os modelos para implantá-los com segurança e responsabilidade. Para ajudar os desenvolvedores, o Vertex AI Studio tem filtragem de conteúdo integrada, e nossas APIs de IA generativa têm pontuação de atributos de segurança a fim de ajudar os clientes a testar os filtros de segurança do Google e definir limites de confiança adequados para seus casos de uso e seus negócios. Consulte a seção Filtros e atributos de segurança para saber mais.

Quando nossas APIs generativas são integradas ao seu caso de uso e ao seu contexto exclusivos, pode ser necessário levar em conta outras considerações e limitações de IA responsável. Incentivamos os clientes a promover as práticas recomendadas de imparcialidade, interpretabilidade, privacidade e segurança.

Filtros e atributos de segurança

Para saber como usar filtros e atributos de segurança em uma API, consulte as seguintes páginas:

Metadados da citação

O objetivo dos nossos recursos de código generativo é produzir conteúdo original, não replicar conteúdo que já existe na íntegra. Projetamos nossos sistemas para limitar as chances de isso acontecer e melhorar continuamente o funcionamento deles. Se esses recursos citarem na íntegra o conteúdo de uma página da Web, isso será especificado na citação.

Às vezes, o mesmo conteúdo pode ser encontrado em várias páginas da Web. Nesse caso, tentaremos direcionar para uma fonte bem conhecida. No caso de citações de repositórios de código, a citação também pode referenciar uma licença de código aberto aplicável. É sua responsabilidade obedecer aos requisitos de licença.

Metadados de citação de amostra

{
  "predictions": [
    {
      "safetyAttributes": {
        "scores": [],
        "categories": [],
        "blocked": false
      },
      "content": "Shall I compare thee to a summer's day?\nThou art more lovely and more temperate.\nRough winds do shake the darling buds of May,\nAnd summer's lease hath all too short a date.\n\nSometime too hot the eye of heaven shines,\nAnd often is his gold complexion dimm'd;\nAnd every fair from fair sometime declines,\nBy chance or nature's changing course, untrimm'd.\n\nBut thy eternal summer shall not fade,\nNor lose possession of that fair thou ow'st,\nNor shall death brag thou wanderest in his shade,\nWhen in eternal lines to time thou grow'st.\n\nSo long as men can breathe or eyes can see,\nSo long lives this and this gives life to thee.",
      "citationMetadata": {
        "citations": [
          {
            "endIndex": 262,
            "publicationDate": "1800",
            "startIndex": 0,
            "title": ""The" Royal Shakespeare"
          },
          {
            "title": "Sabrinae corolla in hortulis regiae scholae Salopiensis contextuerunt tres viri floribus legendis ...",
            "publicationDate": "1801",
            "startIndex": 140,
            "endIndex": 417
          },
          {
            "startIndex": 302,
            "publicationDate": "1800",
            "title": ""The" Royal Shakespeere",
            "endIndex": 429
          },
          {
            "startIndex": 473,
            "publicationDate": "1847",
            "title": "The Poems of William Shakespeare",
            "endIndex": 618
          }
        ]
      }
    }
  ]
}

Descrição dos metadados

A tabela a seguir descreve os metadados da citação.

Metadados Descrição

startIndex

Índice na resposta em que a citação começa (inclusive). Precisa ser maior ou igual a 0 e menor que o valor de endIndex.

endIndex

Índice na saída da previsão em que a citação termina (exclusiva). Precisa ser maior que startIndex e menor que o tamanho da resposta.

url

URL associado a essa citação. Se presente, esse URL está vinculado à página da Web de origem da citação.

title

Título associado a essa citação. Se presente, refere-se ao título da fonte desta citação.

license

Licença associada a esta citação. Refere-se à licença detectada automaticamente da fonte desta citação. As possíveis licenças incluem licenças de código aberto.

publicationDate

Data de publicação associada a esta citação. Se presente, refere-se à data em que a fonte da citação foi publicada. Os formatos possíveis são AAAA, AAAA-MM e AAAA-MM-DD.

Limitações do modelo

As limitações que você pode encontrar ao usar modelos de IA generativa incluem, entre outras:

  • Casos extremos: casos extremos, raros ou excepcionais que não estão bem representados nos dados de treinamento. Esses casos podem levar a limitações no desempenho do modelo, como excesso de confiança, interpretação incorreta do contexto ou saídas inadequadas.

  • Alucinações, fundamentação e fatualidade do modelo: os modelos de IA generativa podem não ter fundamentação e fatualidade em conhecimentos do mundo real, propriedades físicas ou compreensão precisa. Essa limitação pode levar a alucinações de modelos, que se referem a instâncias em que podem gerar saídas que soam plausíveis, mas fatualmente incorretas, irrelevantes, inadequadas ou sem sentido. Para reduzir essa chance, é possível fundamentar os modelos de acordo com seus dados específicos. Para saber mais sobre fundamentação na Vertex Generative AI, consulte as Informações gerais de fundamentação.

  • Qualidade e ajuste de dados: a qualidade, a acurácia e o viés da entrada de dados e do comando em um modelo podem ter um impacto significativo no desempenho dele. Se os usuários inserirem dados ou comandos incorretos, o modelo poderá ter um desempenho abaixo do ideal ou fornecer saídas de modelo falsas.

  • Amplificação de vieses: os modelos de IA generativa podem amplificar inadvertidamente os vieses atuais nos dados de treinamento, levando a saídas que podem reforçar ainda mais os preconceitos sociais e o tratamento desigual de determinados grupos.

  • Qualidade de idioma: embora os modelos produzam recursos multilíngues impressionantes nos comparativos de mercado que avaliamos, a maioria dos nossos comparativos (incluindo todas as avaliações de imparcialidade) está em inglês. Para ver mais informações, consulte o blog do Google Research.

    • Os modelos de IA generativa podem fornecer qualidade inconsistente de serviço para diferentes usuários. Por exemplo, a geração de texto pode não ser tão eficaz para alguns dialetos ou variedades de idiomas devido à sub-representação nos dados de treinamento. O desempenho pode ser pior para idiomas diferentes do inglês ou variedades de língua inglesa com menos representação.

  • Comparativos de mercado e subgrupos de imparcialidade: as análises de imparcialidade do Google Research com relação aos nossos modelos de IA generativa não fornecem uma listagem completa dos vários riscos potenciais. Por exemplo, nos concentramos em vieses nos eixos de gênero, raça, etnia e religião, mas realizamos a análise apenas nos dados em inglês e nos resultados do modelo. Para ver mais informações, consulte o blog do Google Research.

  • Conhecimento de domínio limitado: os modelos de IA generativa podem não ter a profundidade de conhecimento necessário para fornecer respostas precisas e detalhadas sobre tópicos altamente especializados ou técnicos, o que resulta em informações superficiais ou incorretas. Para casos de uso especializados e complexos, os modelos precisam ser ajustados com dados específicos do domínio. Além disso, é necessário haver uma supervisão humana significativa em contextos em que há o potencial de afetar materialmente direitos individuais.

  • Comprimento e estrutura de entradas e saídas: os modelos de IA generativa têm um limite máximo de tokens de entrada e saída. Se a entrada ou a saída excederem esse limite, nossos classificadores de segurança não serão aplicados, o que poderá levar a um desempenho insatisfatório do modelo. Embora nossos modelos sejam projetados para processar uma ampla variedade de formatos de texto, o desempenho deles poderá ser afetado se os dados de entrada tiverem uma estrutura incomum ou complexa.

Para utilizar essa tecnologia com segurança e responsabilidade, também é importante considerar outros riscos específicos para o caso de uso, usuários e contexto empresarial, além das salvaguardas técnicas integradas.

Recomendamos seguir estas etapas:

  1. Analise os riscos de segurança do aplicativo.
  2. Faça ajustes para evitar riscos de segurança.
  3. Realize testes de segurança de acordo com seu caso de uso.
  4. Peça o feedback do usuário e monitore os conteúdos.

Denunciar abuso

Denuncie suspeitas de abuso do serviço ou de qualquer saída gerada que contenha material inapropriado ou informações imprecisas usando o seguinte formulário: Denunciar uma suspeita de abuso no Google Cloud.

Outros recursos