Moderar texto

A moderação de texto analisa um documento em uma lista de atributos de segurança, que incluem "categorias prejudiciais" e tópicos que podem ser considerados confidenciais. Para moderar o texto em um documento, chame o método moderateText.

Uma lista completa das categorias retornadas pelo método moderateText é encontrada aqui.

Atributo de segurança	Descrição
Tóxico	Conteúdo grosseiro, desrespeitoso ou injustificável.
Depreciativo	Comentários negativos ou nocivos voltados à identidade e/ou atributos protegidos.
Violento	Descreve cenários que retratam violência contra um indivíduo ou grupo ou descrições gerais de sangue em excesso.
Conteúdo sexual	Contém referências a atos sexuais ou outro conteúdo sexual.
Ofensivo	Comentários ofensivos, inflamatórios ou negativos sobre uma pessoa ou um grupo.
Linguagem obscena	Linguagem obscena ou vulgar, como xingamentos.
Morte, dano e tragédia	Mortes humanas, tragédias, acidentes, desastres e automutilação.
Armas de fogo e outras armas	Conteúdo que mencione facas, revólveres, armas pessoais e acessórios, como munições, coldres etc.
Segurança pública	Serviços e organizações que prestam assistência e garantem a segurança pública.
Saúde	Saúde humana, incluindo: condições de saúde, doenças e distúrbios, terapias médicas, medicamentos, vacinação, práticas médicas e recursos para cicatrização, incluindo grupos de suporte.
Religião e crenças	Sistemas de crenças que lidam com a possibilidade de leis e seres sobrenaturais; religião, fé, crença, prática espiritual, igrejas e locais de culto. Inclui astrologia e ocultismo.
Drogas ilícitas	Drogas recreativas e ilícitas; acessórios para o consumo e o cultivo, drogas etc. Inclui o uso medicinal de drogas normalmente usadas recreativamente (por exemplo, maconha).
Guerra e conflito	Guerra, conflitos militares e grandes conflitos físicos envolvendo um grande número de pessoas. Inclui a discussão sobre serviços militares, mesmo que não esteja diretamente relacionada a uma guerra ou conflito.
Finanças	Serviços financeiros para consumidores e empresas, como bancos, empréstimos, crédito, investimentos e seguros
Política	Notícias e mídia política; discussões sobre políticas sociais, governamentais e públicas.
Jurídico	Conteúdo relacionado à lei, incluindo escritórios de advocacia, informações legais, materiais jurídicos em geral, serviços jurídicos, publicações e tecnologias, testemunhas especializadas, consultores jurídicos e outros provedores de serviços jurídicos.

Pontuações de confiança do atributo de segurança

Cada atributo de segurança tem uma pontuação de confiança associada entre 0,00 e 1,00, refletindo a probabilidade da entrada ou resposta pertencente a uma determinada categoria.

Exemplo de resposta

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

Teste seus limites de confiança

É possível testar os filtros de segurança do Google e definir limites de confiança ideais para sua empresa. Ao usar esses limites, você pode tomar medidas abrangentes para detectar conteúdo que viola as políticas de uso ou os Termos de Serviço do Google e tomar as medidas apropriadas.

As pontuações de confiança são apenas previsões. Não dependa das pontuações de confiabilidade ou precisão. O Google não é responsável por interpretar ou usar essas pontuações para decisões de negócios.

Diferença entre probabilidade e gravidade

As pontuações de confiança indicam que o conteúdo pertence à categoria especificada, e não à gravidade. É importante considerar isso, porque alguns conteúdos podem ter baixa probabilidade de não serem seguros, mesmo que a gravidade dos danos ainda seja alta. Por exemplo, comparando as frases:

1. O robô me socou.
2. O robô me cortou.

A frase 1 pode causar uma probabilidade maior de não ser segura, mas você pode considerar a frase 2 uma gravidade maior em termos de violência.

Portanto, é importante testar cuidadosamente e considerar qual é o nível apropriado de bloqueio para seus casos de uso, minimizando os danos aos usuários finais.

Suporte ao idioma

Idioma	ISO-639-1	Suporte
Inglês	es	sim
Espanhol	es	sim
Português	pt	sim
Francês	fr	sim
Italiano	it	sim
Alemão	de	sim
Chinês	zh	sim
Japonês	ja	sim
Coreano	ko	sim
Holandês	nl	Limitado
Russo	ru	Limitado
Hindi	oi	Limitado
Indonésio	id	Limitado
Árabe	ar	Limitado

Observação: a API não tem uma restrição rígida para o suporte a idiomas, portanto, os idiomas não listados ainda retornarão previsões. Não podemos verificar a qualidade das previsões para idiomas não listados. Da mesma forma, suporte "limitado" significa que os resultados podem variar por tipo de texto (por exemplo, página da web, mensagem de bate-papo etc.) para alguns atributos. De qualquer forma, recomendamos uma avaliação completa para seu caso de uso.

Como moderar texto

Esta seção demonstra como moderar texto em um documento. Você precisa enviar uma solicitação separada para cada documento.

Confira um exemplo de como moderar o texto fornecido como uma string:

Protocolo

Para moderar o conteúdo de um documento, faça uma solicitação POST ao método REST documents:moderateText e forneça o corpo da solicitação apropriada, como mostrado no exemplo a seguir.

No exemplo, o comando gcloud auth application-default print-access-token é usado para gerar um token de acesso para uma conta de serviço configurada para o projeto usando a gcloud CLI do Google Cloud Platform. Para instruções sobre como instalar a gcloud CLI e configurar um projeto com uma conta de serviço, consulte o Guia de início rápido.

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

Moderar texto do Cloud Storage

Confira um exemplo de como moderar o texto armazenado em um arquivo de texto no Cloud Storage:

Protocolo

Para moderar conteúdo de um documento armazenado no Cloud Storage, crie uma solicitação POST para o método REST documents:moderateText (em inglês) e forneça o caminho para o documento ao corpo da solicitação apropriada, como mostrado no exemplo a seguir.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"