A moderação de texto analisa um documento em uma lista de atributos de segurança, que incluem "categorias prejudiciais" e tópicos que podem ser considerados confidenciais. Para moderar
o texto em um documento, chame o método moderateText
.
Uma lista completa das categorias retornadas pelo método moderateText
é encontrada aqui.
Atributo de segurança | Descrição |
---|---|
Tóxico | Conteúdo grosseiro, desrespeitoso ou injustificável. |
Depreciativo | Comentários negativos ou nocivos voltados à identidade e/ou atributos protegidos. |
Violento | Descreve cenários que retratam violência contra um indivíduo ou grupo ou descrições gerais de sangue em excesso. |
Conteúdo sexual | Contém referências a atos sexuais ou outro conteúdo sexual. |
Ofensivo | Comentários ofensivos, inflamatórios ou negativos sobre uma pessoa ou um grupo. |
Linguagem obscena | Linguagem obscena ou vulgar, como xingamentos. |
Morte, dano e tragédia | Mortes humanas, tragédias, acidentes, desastres e automutilação. |
Armas de fogo e outras armas | Conteúdo que mencione facas, revólveres, armas pessoais e acessórios, como munições, coldres etc. |
Segurança pública | Serviços e organizações que prestam assistência e garantem a segurança pública. |
Saúde | Saúde humana, incluindo: condições de saúde, doenças e distúrbios, terapias médicas, medicamentos, vacinação, práticas médicas e recursos para cicatrização, incluindo grupos de suporte. |
Religião e crenças | Sistemas de crenças que lidam com a possibilidade de leis e seres sobrenaturais; religião, fé, crença, prática espiritual, igrejas e locais de culto. Inclui astrologia e ocultismo. |
Drogas ilícitas | Drogas recreativas e ilícitas; acessórios para o consumo e o cultivo, drogas etc. Inclui o uso medicinal de drogas normalmente usadas recreativamente (por exemplo, maconha). |
Guerra e conflito | Guerra, conflitos militares e grandes conflitos físicos envolvendo um grande número de pessoas. Inclui a discussão sobre serviços militares, mesmo que não esteja diretamente relacionada a uma guerra ou conflito. |
Finanças | Serviços financeiros para consumidores e empresas, como bancos, empréstimos, crédito, investimentos e seguros |
Política | Notícias e mídia política; discussões sobre políticas sociais, governamentais e públicas. |
Jurídico | Conteúdo relacionado à lei, incluindo escritórios de advocacia, informações legais, materiais jurídicos em geral, serviços jurídicos, publicações e tecnologias, testemunhas especializadas, consultores jurídicos e outros provedores de serviços jurídicos. |
Pontuações de confiança do atributo de segurança
Cada atributo de segurança tem uma pontuação de confiança associada entre 0,00 e 1,00, refletindo a probabilidade da entrada ou resposta pertencente a uma determinada categoria.
Exemplo de resposta
{
"moderationCategories": [
{
"name": "Toxic",
"confidence": 0.10
},
{
"name": "Insult",
"confidence": 0.12
},
{
"name": "Profanity",
"confidence": 0.07
},
{
"name": "Derogatory",
"confidence": 0.04
},
{
"name": "Sexual",
"confidence": 0.00
},
{
"name": "Death, Harm & Tragedy",
"confidence": 0.00
},
{
"name": "Violent",
"confidence": 0.00
},
{
"name": "Firearms & Weapons",
"confidence": 0.00
},
{
"name": "Public Safety",
"confidence": 0.01
},
{
"name": "Health",
"confidence": 0.01
},
{
"name": "Religion & Belief",
"confidence": 0.00
},
{
"name": "Illicit Drugs",
"confidence": 0.01
},
{
"name": "War & Conflict",
"confidence": 0.02
},
{
"name": "Politics",
"confidence": 0.01
},
{
"name": "Finance",
"confidence": 0.00
},
{
"name": "Legal",
"confidence": 0.00
}
]
}
Teste seus limites de confiança
É possível testar os filtros de segurança do Google e definir limites de confiança ideais para sua empresa. Ao usar esses limites, você pode tomar medidas abrangentes para detectar conteúdo que viola as políticas de uso ou os Termos de Serviço do Google e tomar as medidas apropriadas.
As pontuações de confiança são apenas previsões. Não dependa das pontuações de confiabilidade ou precisão. O Google não é responsável por interpretar ou usar essas pontuações para decisões de negócios.
Diferença entre probabilidade e gravidade
As pontuações de confiança indicam que o conteúdo pertence à categoria especificada, e não à gravidade. É importante considerar isso, porque alguns conteúdos podem ter baixa probabilidade de não serem seguros, mesmo que a gravidade dos danos ainda seja alta. Por exemplo, comparando as frases:
- O robô me socou.
- O robô me cortou.
A frase 1 pode causar uma probabilidade maior de não ser segura, mas você pode considerar a frase 2 uma gravidade maior em termos de violência.
Portanto, é importante testar cuidadosamente e considerar qual é o nível apropriado de bloqueio para seus casos de uso, minimizando os danos aos usuários finais.
Suporte ao idioma
Idioma | ISO-639-1 | Suporte |
---|---|---|
Inglês | es | sim |
Espanhol | es | sim |
Português | pt | sim |
Francês | fr | sim |
Italiano | it | sim |
Alemão | de | sim |
Chinês | zh | sim |
Japonês | ja | sim |
Coreano | ko | sim |
Holandês | nl | Limitado |
Russo | ru | Limitado |
Hindi | oi | Limitado |
Indonésio | id | Limitado |
Árabe | ar | Limitado |
Como moderar texto
Esta seção demonstra como moderar texto em um documento. Você precisa enviar uma solicitação separada para cada documento.
Confira um exemplo de como moderar o texto fornecido como uma string:
Protocolo
Para moderar o conteúdo de um documento, faça uma solicitação POST
ao método REST documents:moderateText
e forneça o corpo da solicitação apropriada, como mostrado no exemplo a seguir.
No exemplo, o comando
gcloud auth application-default print-access-token
é usado para gerar um token de acesso para uma conta de serviço configurada para o projeto
usando a gcloud CLI do Google Cloud Platform.
Para instruções sobre como instalar a gcloud CLI
e configurar um projeto com uma conta de serviço,
consulte o Guia de início rápido.
curl -X POST \ -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \ -H "Content-Type: application/json; charset=utf-8" \ --data "{ 'document':{ 'type':'PLAIN_TEXT', 'content':'Shut up!' } }" "https://language.googleapis.com/v1/documents:moderateText"
Moderar texto do Cloud Storage
Confira um exemplo de como moderar o texto armazenado em um arquivo de texto no Cloud Storage:
Protocolo
Para moderar conteúdo de um documento armazenado no Cloud Storage, crie uma solicitação POST
para o método REST documents:moderateText
(em inglês) e forneça o caminho para o documento ao corpo da solicitação apropriada, como mostrado no exemplo a seguir.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ https://language.googleapis.com/v1/documents:moderateText -d "{ 'document':{ 'type':'PLAIN_TEXT', 'gcsContentUri':'gs://<bucket-name>/<object-name>' } }"