IA responsável

O Vertex AI Agent Builder permite que os desenvolvedores aproveitem o poder dos modelos de fundação, da experiência em pesquisa e das tecnologias de IA de conversação do Google para criar aplicativos de IA generativa de nível empresarial com o Vertex AI Agents e a Vertex AI Search. Por ser uma tecnologia em estágio inicial, os recursos e usos em evolução dela criam potencial para uso indevido e consequências não intencionais ou imprevistas. Por exemplo, o Vertex AI Agent Builder pode gerar um resultado inesperado, incluindo texto ofensivo, insensível ou incorreto.

Considerando esses riscos e complexidades, o Vertex AI Agent Builder foi projetado com base nos Princípios de IA do Google. No entanto, é importante que os desenvolvedores entendam e testem os modelos para implantá-los com segurança e responsabilidade. Para ajudar os desenvolvedores, o Vertex AI Agent Builder tem filtros de segurança integrados para ajudar os clientes a bloquear resultados potencialmente prejudiciais no caso de uso. Para mais informações, consulte Configurações de segurança da Pesquisa da Vertex AI.

Quando o Vertex AI Agent Builder é integrado ao caso de uso e ao contexto exclusivo de um cliente, é possível que outras considerações de IA responsável e limitações de modelo precisem ser consideradas. Incentivamos os clientes a aproveitar as práticas recomendadas de imparcialidade, interpretabilidade, privacidade e segurança.

A Vertex AI Search oferece filtros do SafeSearch para filtrar resultados de pesquisa de sites explícitos. Os resultados explícitos podem incluir conteúdo como pornografia, violência e imagens sangrentas. A filtragem do SafeSearch não está disponível para conteúdo privado.

A síntese (para pesquisa de sites e conteúdo particular) filtra respostas como informações depreciativas, sexualmente explícitas, tóxicas ou violentas. Além disso, a resposta de resumo contém atributos de segurança, que incluem "categorias prejudiciais" e tópicos que podem ser considerados sensíveis.

Pesquisa de sites

O SafeSearch pode ser aplicado a conteúdo público indexado pela Vertex AI para Pesquisa, como sites. Quando o SafeSearch está ativado, a Pesquisa da Vertex AI ajuda a filtrar conteúdo explícito nos resultados da Pesquisa da Vertex AI de um cliente para todas as consultas de imagens, vídeos e sites. Embora esses filtros não sejam 100% precisos, avaliamos e atualizamos constantemente os recursos de filtragem.

Em determinados contextos e casos de uso, os clientes podem precisar de acesso a uma ampla gama de informações, mesmo que incluam conteúdo explícito, para coletar insights e resultados abrangentes da Pesquisa da Vertex AI. Os clientes podem ativar e desativar filtros de segurança usando a API definindo safe_search como "true" ou "false".

Para ativar a Pesquisa segura na Vertex AI, use a seguinte chamada de API:

curl -X POST\
 -H "Authorization: Bearer $(gcloud auth application-default print-access-token)"
 -H "Content-Type: application/json"\
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/servingConfigs/default_config:search"
     -d '{
      "query": { "input": "FREE_TEXT"},
  "serving_config": "SERVING_CONFIG_ID",
  "safe_search": "true",
}'

Para ativar o SafeSearch para a Pesquisa com acompanhamentos na Pesquisa da Vertex AI, use a seguinte chamada de API:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/conversations/CONVERSATION_ID:converse" \
-d '{
  "query": { "input": "FREE_TEXT"},
  "serving_config": "SERVING_CONFIG_ID",
  "safe_search": "true",
}'

A configuração safe_search se aplica aos resultados da pesquisa e também às saídas da Vertex AI para Pesquisa, como a síntese, que é baseada nos resultados da pesquisa.

As saídas da pesquisa da Vertex AI, como o resumo, são avaliadas com base em uma lista de atributos de segurança que filtram conteúdo potencialmente nocivo mesmo quando safe_search está desativado.

Resumo para conteúdo particular e pesquisa no site

As saídas da Vertex AI Search, como a síntese, são avaliadas com base em uma lista de atributos de segurança, que filtram conteúdo potencialmente nocivo, como informações depreciativas, sexualmente explícitas, tóxicas ou violentas, mesmo quando o safe_search para pesquisa de sites está desativado. Além disso, é possível filtrar respostas que incluem "categorias prejudiciais" e tópicos que podem ser considerados sensíveis usando safetyAttributes na resposta da API Vertex AI Search.

Respostas substitutas

Se o modelo de resumo responder a uma solicitação com uma string vazia ou uma resposta genérica, isso significa que a entrada ou a saída estão acionando um filtro de segurança. Na resposta da API de Pesquisa da Vertex AI, SummarySkippedReason é definido como BLOCKED_DUE_TO_POTENTIAL_POLICY_VIOLATION se uma possível violação da política for detectada.

Se você achar que um filtro de segurança está sendo acionado de maneira inadequada, informe o problema pelo console do Google Cloud.

Configurações de segurança para agentes da Vertex AI

O Chat usa vários mecanismos de filtragem de segurança nas consultas do usuário e nas respostas do agente. A filtragem inclui categorias como informações depreciativas, sexualmente explícitas, tóxicas ou violentas. Isso garante que o chat responda corretamente a consultas não seguras e que as respostas sejam seguras em geral. Você também pode especificar outros filtros para conteúdo que considera indesejável e definir respostas substitutas quando essa filtragem for aplicada no console do Dialogflow. Se você achar que a filtragem de segurança está sendo acionada de maneira inadequada, informe o problema pelo console do Google Cloud.

Práticas recomendadas para uma IA responsável

Ao usar os agentes da Vertex AI, recomendamos as seguintes práticas recomendadas de IA responsável:

  • Informar aos usuários finais que eles estão interagindo com um bot

  • Se aplicável, informe aos usuários se e quando as respostas deles estão sendo gravadas

  • Ofereça aos usuários uma maneira de sinalizar respostas nocivas

Limitações

Os agentes da Vertex AI incorporam responsabilidade de várias maneiras, incluindo filtros de segurança para categorias como informações depreciativas, sexualmente explícitas, tóxicas ou violentas. No entanto, conforme descrito acima, esses filtros de segurança não são 100% precisos. À medida que continuamos avaliando e atualizando nossos recursos de filtragem, encorajamos os clientes a enviar feedback sobre o modelo, explorar casos de uso que levarão a benefícios sociais e evitar o uso de agentes da Vertex AI em contextos de segurança.

Os agentes da Vertex AI são uma das várias ferramentas que podem informar especialistas em determinados assuntos e não devem ser usados em contextos de tomada de decisão sem supervisão humana. Ao incorporar dados privados não estruturados em que os filtros de segurança não estão ativados, recomendamos um papel maior de avaliação de modelo e validação humana antes do uso.

Outros recursos