La moderación de texto analiza un documento en función de una lista de atributos de seguridad, que incluyen “categorías perjudiciales” y temas que pueden considerarse sensibles. Para moderar el texto en un documento, llama al método moderateText.
Aquí encontrarás la lista completa de las categorías que se muestran para el método moderateText:
| Atributo de seguridad | Descripción |
|---|---|
| Tóxico | Contenido grosero, irrespetuoso o irrazonable |
| Contenido peyorativo | Comentarios negativos o dañinos que se orientan a la identidad o los atributos protegidos. |
| Violento | Describe situaciones que representen violencia contra una persona o un grupo, o descripciones generales de imágenes sangrientas. |
| Contenido sexual | Incluye referencias a actos sexual o a otro contenido obsceno. |
| Insultos | Comentarios insultantes, provocadores o negativos hacia una persona o un grupo de personas. |
| Lenguaje obsceno | Lenguaje obsceno o vulgar, como insultos. |
| Muerte, daños y tragedias | Muertes de personas, tragedias, accidentes, catástrofes y autolesiones. |
| Armas de fuego y de otros tipos | Contenido que menciona cuchillos, pistolas, armas personales y accesorios, como municiones, fundas, etcétera. |
| Seguridad pública | Servicios y organizaciones que proporcionan asistencia y garantizan la seguridad pública. |
| Salud | Salud humana, incluidos los siguientes temas: Problemas de salud, enfermedades y trastornos Terapias médicas, medicamentos, vacunación, prácticas médicas y recursos para sanar, incluidos los grupos de asistencia |
| Religión y creencias | Sistemas de creencias que se enfrentan a la posibilidad de leyes y seres sobrenaturales; religión, fe, creencia, práctica espiritual, iglesias y lugares de culto. Incluye la astrología y el ocultismo. |
| Drogas ilegales | Drogas ilegales y recreativas; parafernalia y cultivo de droga, headshops, etcétera. Incluye el uso medicinal de drogas que suelen consumirse con fines recreativos (p.ej., la marihuana). |
| Guerra y conflicto | Problemas de conflicto, conflictos militares y conflictos físicos importantes que involucran una gran cantidad de personas Incluye discusión de servicios militares, incluso si no están directamente relacionados con una guerra o un conflicto. |
| Finanzas | Servicios financieros y para consumidores, como bancos, préstamos, crédito, inversiones y seguros |
| Política | Noticias y medios de comunicación políticos; debates sobre políticas sociales, gubernamentales y públicas. |
| Legal | Contenido relacionado con la ley, que incluye corporaciones legales, información legal, materiales legales principales, servicios legales, publicaciones y tecnologías legales, testigos expertos, asesores de abogados y otros proveedores de servicios legales. |
Puntuaciones de confianza del atributo de seguridad
Cada atributo de seguridad tiene asociado una puntuación de confianza entre 0.00 y 1.00, que refleja la probabilidad de que la entrada o respuesta pertenezca a una categoría determinada.
Respuesta de muestra
{
"moderationCategories": [
{
"name": "Toxic",
"confidence": 0.10
},
{
"name": "Insult",
"confidence": 0.12
},
{
"name": "Profanity",
"confidence": 0.07
},
{
"name": "Derogatory",
"confidence": 0.04
},
{
"name": "Sexual",
"confidence": 0.00
},
{
"name": "Death, Harm & Tragedy",
"confidence": 0.00
},
{
"name": "Violent",
"confidence": 0.00
},
{
"name": "Firearms & Weapons",
"confidence": 0.00
},
{
"name": "Public Safety",
"confidence": 0.01
},
{
"name": "Health",
"confidence": 0.01
},
{
"name": "Religion & Belief",
"confidence": 0.00
},
{
"name": "Illicit Drugs",
"confidence": 0.01
},
{
"name": "War & Conflict",
"confidence": 0.02
},
{
"name": "Politics",
"confidence": 0.01
},
{
"name": "Finance",
"confidence": 0.00
},
{
"name": "Legal",
"confidence": 0.00
}
]
}
Prueba tus umbrales de confianza
Puedes probar los filtros de seguridad de Google y definir los umbrales de confianza adecuados para tu empresa. El uso de estos umbrales permite adoptar medidas exhaustivas para detectar contenidos que infrinjan las políticas de uso o las condiciones del servicio de Google y tomar las medidas adecuadas.
Las puntuaciones de confianza son solo predicciones. No debes depender de las puntuaciones para confiabilidad o precisión. Google no es responsable de interpretar ni usar estas puntuaciones para las decisiones empresariales.
Diferencia entre probabilidad y gravedad
Las puntuaciones de confianza indican que el contenido pertenece a la categoría especificada y no a la gravedad. Es importante saber esto porque algunos contenidos pueden tener una baja probabilidad de ser inseguros, aunque la gravedad del daño pueda seguir siendo alta. Por ejemplo, comparemos las siguientes oraciones:
- El robot me golpeó.
- El robot me acuchilló.
La oración 1 podría tener una mayor probabilidad de ser insegura, pero podrías considerar que la oración 2 es de mayor gravedad en términos de violencia.
Por lo tanto, es importante que pruebes y consideres con cuidado cuál es el nivel adecuado de bloqueo para tus casos de uso, a la vez que minimizas el daño a los usuarios finales.
Compatibilidad con idiomas
| Idioma | ISO-639-1 | Asistencia |
|---|---|---|
| Inglés | es | sí |
| Español | es | sí |
| Portugués | pt | sí |
| Francés | fr | sí |
| Italiano | it | sí |
| Alemán | de | sí |
| Chino | zh | sí |
| Japonés | ja | sí |
| Coreano | ko | sí |
| Holandés | nl | limitado |
| Ruso | ru | limitado |
| Hindi | hi | limitado |
| Indonesio | id | limitado |
| Árabe | ar | limitado |
Cómo moderar texto
En esta sección, se muestra cómo moderar texto en un documento. Debes enviar una solicitud por separado para cada documento.
El siguiente es un ejemplo de moderación de texto proporcionado como una cadena:
Protocolo
Para moderar el contenido de un documento, realiza una solicitud POST al método documents:moderateText de REST y proporciona el cuerpo de solicitud adecuado, como se muestra en el siguiente ejemplo.
En este ejemplo, se usa el comando gcloud auth application-default print-access-token a fin de obtener un token de acceso correspondiente a una cuenta de servicio configurada para el proyecto con la CLI de gcloud de Google Cloud Platform.
Para obtener instrucciones sobre cómo instalar la CLI de gcloud y configurar un proyecto con una cuenta de servicio, consulta la Guía de inicio rápido.
curl -X POST \ -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \ -H "Content-Type: application/json; charset=utf-8" \ --data "{ 'document':{ 'type':'PLAIN_TEXT', 'content':'Shut up!' } }" "https://language.googleapis.com/v1/documents:moderateText"
Modera texto de Cloud Storage
El siguiente es un ejemplo de moderación de texto almacenado en un archivo de texto en Cloud Storage:
Protocolo
Para moderar texto de un documento almacenado en Cloud Storage, realiza una solicitud POST al método documents:moderateText de REST y proporciona el cuerpo de la solicitud adecuado con la ruta del documento, como se muestra en el siguiente ejemplo.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ https://language.googleapis.com/v1/documents:moderateText -d "{ 'document':{ 'type':'PLAIN_TEXT', 'gcsContentUri':'gs://<bucket-name>/<object-name>' } }"