La moderación de texto analiza un documento en función de una lista de atributos de seguridad, que incluyen “categorías dañinas” y temas que pueden considerarse sensibles. Para moderar
el texto de un documento, llama al método moderateText.
Una lista completa de las categorías que se muestran para moderateText
se encuentran aquí:
| Atributo de seguridad | Descripción |
|---|---|
| Tóxico | Contenido grosero, irrespetuoso o poco razonable |
| Contenido peyorativo | Comentarios negativos o dañinos que se orientan a la identidad o los atributos protegidos. |
| Violento | Describe situaciones que representen violencia contra una persona o un grupo, o descripciones generales de imágenes sangrientas. |
| Contenido sexual | Incluye referencias a actos sexual o a otro contenido obsceno. |
| Insultos | Comentarios insultantes, provocadores o negativos hacia una persona o un grupo de personas. |
| Lenguaje obsceno | Lenguaje obsceno o vulgar, como insultos. |
| Muerte, daños y tragedias | Muertes de personas, tragedias, accidentes, catástrofes y autolesiones. |
| Armas de fuego y de otros tipos | Contenido en el que se mencionan cuchillos, pistolas, armas personales y accesorios, como municiones, fundas, etcétera. |
| Seguridad pública | Servicios y organizaciones que proporcionan asistencia y garantizan la seguridad pública. |
| Salud | Salud humana, lo que incluye: Problemas de salud, enfermedades y trastornos Terapias médicas, medicamentos, vacunación, prácticas médicas y recursos para la reparación, incluidos los grupos de apoyo. |
| Religión y creencias | Sistemas de creencias que se enfrentan a la posibilidad de leyes y seres sobre naturales; religión, fe, creencia, práctica espiritual, iglesias y lugares de culto. Incluye la astrología y el ocultismo. |
| Drogas ilegales | Drogas ilegales y recreativas; parafernalia y cultivo de droga, headshops, etcétera. Incluye el uso medicinal de drogas que suelen consumirse con fines recreativos (p. ej., la marihuana). |
| Guerra y conflicto | Guerras, conflictos militares y conflictos físicos importantes que involucran a un gran número de personas. Incluye discusiones sobre servicios militares, incluso si no están directamente relacionados con una guerra o un conflicto. |
| Finanzas | Servicios financieros para consumidores y empresas, como banca, préstamos, crédito, inversiones y seguros. |
| Política | Noticias y medios de comunicación políticas; debates sobre políticas sociales, gubernamentales y públicas. |
| Legal | Contenido relacionado con el derecho, incluidos los estudios jurídicos, la información legal, los materiales jurídicos primarios, los servicios de asistencia jurídica, la tecnología y las publicaciones legales, los testigos expertos, los asesores jurídicos y otros proveedores de servicios legales. |
Puntuaciones de confianza de los atributos de seguridad
Cada atributo de seguridad tiene asociada una puntuación de confianza entre 0.00 y 1.00, lo que refleja la probabilidad de la entrada o respuesta que pertenece a una categoría determinada.
Respuesta de muestra
{
"moderationCategories": [
{
"name": "Toxic",
"confidence": 0.10
},
{
"name": "Insult",
"confidence": 0.12
},
{
"name": "Profanity",
"confidence": 0.07
},
{
"name": "Derogatory",
"confidence": 0.04
},
{
"name": "Sexual",
"confidence": 0.00
},
{
"name": "Death, Harm & Tragedy",
"confidence": 0.00
},
{
"name": "Violent",
"confidence": 0.00
},
{
"name": "Firearms & Weapons",
"confidence": 0.00
},
{
"name": "Public Safety",
"confidence": 0.01
},
{
"name": "Health",
"confidence": 0.01
},
{
"name": "Religion & Belief",
"confidence": 0.00
},
{
"name": "Illicit Drugs",
"confidence": 0.01
},
{
"name": "War & Conflict",
"confidence": 0.02
},
{
"name": "Politics",
"confidence": 0.01
},
{
"name": "Finance",
"confidence": 0.00
},
{
"name": "Legal",
"confidence": 0.00
}
]
}
Prueba tus umbrales de confianza
Puedes probar los filtros de seguridad de Google y definir los umbrales de confianza adecuados para tu empresa. El uso de estos umbrales permite adoptar medidas exhaustivas para detectar contenidos que infrinjan las políticas de uso o las condiciones del servicio de Google y tomar las medidas adecuadas.
Las puntuaciones de confianza son solo predicciones. No deberías depender del de puntuación de confiabilidad o exactitud. Google no es responsable de interpretar ni usar estas puntuaciones para las decisiones empresariales.
Diferencia entre probabilidad y gravedad
Las puntuaciones de confianza indican que Si el contenido pertenece a la categoría especificada y no a la gravedad. Es importante saber esto porque algunos contenidos pueden tener una baja probabilidad de ser inseguros, aunque la gravedad del daño pueda seguir siendo alta. Por ejemplo, comparemos las siguientes oraciones:
- El robot me golpeó.
- El robot me acuchilló.
La oración 1 podría tener una mayor probabilidad de ser insegura, pero podrías considerar que la oración 2 es de mayor gravedad en términos de violencia.
Por lo tanto, es importante que pruebes y consideres con cuidado cuál es el nivel adecuado de bloqueo para tus casos de uso y, al mismo tiempo, minimices el daño a los usuarios finales.
Compatibilidad con idiomas
| Idioma | ISO-639-1 | Asistencia |
|---|---|---|
| Inglés | es | sí |
| Español | es | sí |
| Portugués | pt | sí |
| Francés | fr | sí |
| Italiano | it | sí |
| Alemán | de | sí |
| Chino | zh | sí |
| Japonés | ja | sí |
| Coreano | ko | sí |
| Neerlandés | nl | limitado |
| Ruso | ru | limitado |
| Hindi | hi | limitado |
| Indonesio | id | limitado |
| Árabe | ar | limitado |
Cómo moderar el texto
En esta sección, se muestra cómo moderar el texto en un documento. Debes enviar una solicitud diferente para cada documento.
Este es un ejemplo de moderación de texto proporcionado como una cadena:
Protocolo
Para moderar el contenido de un documento, envía una solicitud POST a la
documents:moderateText
REST y proporcionan
el cuerpo de la solicitud correspondiente, como se muestra en el siguiente ejemplo.
En este ejemplo, se usa el comando gcloud auth application-default print-access-token a fin de obtener un token de acceso correspondiente a una cuenta de servicio configurada para el proyecto con la CLI de gcloud de Google Cloud Platform.
Para obtener instrucciones sobre cómo instalar la CLI de gcloud y configurar un proyecto con una cuenta de servicio, consulta la Guía de inicio rápido.
curl -X POST \ -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \ -H "Content-Type: application/json; charset=utf-8" \ --data "{ 'document':{ 'type':'PLAIN_TEXT', 'content':'Shut up!' } }" "https://language.googleapis.com/v1/documents:moderateText"
Moderar texto desde Cloud Storage
El siguiente es un ejemplo de moderación de texto almacenado en un archivo de texto en Cloud Storage:
Protocolo
Para moderar el texto de un documento almacenado en Cloud Storage, realiza una solicitud POST al método REST documents:moderateText y proporciona el cuerpo de la solicitud adecuado con la ruta del documento, como se muestra en el siguiente ejemplo.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ https://language.googleapis.com/v1/documents:moderateText -d "{ 'document':{ 'type':'PLAIN_TEXT', 'gcsContentUri':'gs://<bucket-name>/<object-name>' } }"