Moderar texto

A moderação de texto analisa um documento em uma lista de atributos de segurança, que incluem "categorias prejudiciais" e tópicos que podem ser considerados confidenciais. Para moderar o texto em um documento, chame o método moderateText.

Uma lista completa das categorias retornadas pelo método moderateText é encontrada aqui.

Atributo de segurança Descrição
Tóxico Conteúdo grosseiro, desrespeitoso ou injustificável.
Depreciativo Comentários negativos ou nocivos voltados à identidade e/ou atributos protegidos.
Violento Descreve cenários que retratam violência contra um indivíduo ou grupo ou descrições gerais de sangue em excesso.
Conteúdo sexual Contém referências a atos sexuais ou outro conteúdo sexual.
Ofensivo Comentários ofensivos, inflamatórios ou negativos sobre uma pessoa ou um grupo.
Linguagem obscena Linguagem obscena ou vulgar, como xingamentos.
Morte, dano e tragédia Mortes humanas, tragédias, acidentes, desastres e automutilação.
Armas de fogo e outras armas Conteúdo que mencione facas, revólveres, armas pessoais e acessórios, como munições, coldres etc.
Segurança pública Serviços e organizações que prestam assistência e garantem a segurança pública.
Saúde Saúde humana, incluindo: condições de saúde, doenças e distúrbios, terapias médicas, medicamentos, vacinação, práticas médicas e recursos para cicatrização, incluindo grupos de suporte.
Religião e crenças Sistemas de crenças que lidam com a possibilidade de leis e seres sobrenaturais; religião, fé, crença, prática espiritual, igrejas e locais de culto. Inclui astrologia e ocultismo.
Drogas ilícitas Drogas recreativas e ilícitas; acessórios para o consumo e o cultivo, drogas etc. Inclui o uso medicinal de drogas normalmente usadas recreativamente (por exemplo, maconha).
Guerra e conflito Guerra, conflitos militares e grandes conflitos físicos envolvendo um grande número de pessoas. Inclui a discussão sobre serviços militares, mesmo que não esteja diretamente relacionada a uma guerra ou conflito.
Finanças Serviços financeiros para consumidores e empresas, como bancos, empréstimos, crédito, investimentos e seguros
Política Notícias e mídia política; discussões sobre políticas sociais, governamentais e públicas.
Jurídico Conteúdo relacionado à lei, incluindo escritórios de advocacia, informações legais, materiais jurídicos em geral, serviços jurídicos, publicações e tecnologias, testemunhas especializadas, consultores jurídicos e outros provedores de serviços jurídicos.

Pontuações de confiança do atributo de segurança

Cada atributo de segurança tem uma pontuação de confiança associada entre 0,00 e 1,00, refletindo a probabilidade da entrada ou resposta pertencente a uma determinada categoria.

Exemplo de resposta

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

Teste seus limites de confiança

É possível testar os filtros de segurança do Google e definir limites de confiança ideais para sua empresa. Ao usar esses limites, você pode tomar medidas abrangentes para detectar conteúdo que viola as políticas de uso ou os Termos de Serviço do Google e tomar as medidas apropriadas.

As pontuações de confiança são apenas previsões. Não dependa das pontuações de confiabilidade ou precisão. O Google não é responsável por interpretar ou usar essas pontuações para decisões de negócios.

Diferença entre probabilidade e gravidade

As pontuações de confiança indicam que o conteúdo pertence à categoria especificada, e não à gravidade. É importante considerar isso, porque alguns conteúdos podem ter baixa probabilidade de não serem seguros, mesmo que a gravidade dos danos ainda seja alta. Por exemplo, comparando as frases:

  1. O robô me socou.
  2. O robô me cortou.

A frase 1 pode causar uma probabilidade maior de não ser segura, mas você pode considerar a frase 2 uma gravidade maior em termos de violência.

Portanto, é importante testar cuidadosamente e considerar qual é o nível apropriado de bloqueio para seus casos de uso, minimizando os danos aos usuários finais.

Suporte ao idioma

Idioma ISO-639-1 Suporte
Inglês es sim
Espanhol es sim
Português pt sim
Francês fr sim
Italiano it sim
Alemão de sim
Chinês zh sim
Japonês ja sim
Coreano ko sim
Holandês nl Limitado
Russo ru Limitado
Hindi oi Limitado
Indonésio id Limitado
Árabe ar Limitado

Como moderar texto

Esta seção demonstra como moderar texto em um documento. Você precisa enviar uma solicitação separada para cada documento.

Confira um exemplo de como moderar o texto fornecido como uma string:

Protocolo

Para moderar o conteúdo de um documento, faça uma solicitação POST ao método REST documents:moderateText e forneça o corpo da solicitação apropriada, como mostrado no exemplo a seguir.

No exemplo, o comando gcloud auth application-default print-access-token é usado para gerar um token de acesso para uma conta de serviço configurada para o projeto usando a gcloud CLI do Google Cloud Platform. Para instruções sobre como instalar a gcloud CLI e configurar um projeto com uma conta de serviço, consulte o Guia de início rápido.

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

Moderar texto do Cloud Storage

Confira um exemplo de como moderar o texto armazenado em um arquivo de texto no Cloud Storage:

Protocolo

Para moderar conteúdo de um documento armazenado no Cloud Storage, crie uma solicitação POST para o método REST documents:moderateText (em inglês) e forneça o caminho para o documento ao corpo da solicitação apropriada, como mostrado no exemplo a seguir.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"