La moderación de texto analiza un documento en función de una lista de atributos de seguridad, que incluyen “categorías dañinas” y temas que pueden considerarse sensibles. Para moderar el texto de un documento, llama al método moderateText.
Aquí encontrarás la lista completa de las categorías que se muestran para el método moderateText:
| Atributo de seguridad | Descripción |
|---|---|
| Tóxico | Contenido grosero, irrespetuoso o poco razonable |
| Contenido peyorativo | Comentarios negativos o dañinos que se orientan a la identidad o los atributos protegidos. |
| Violento | Describe situaciones que representen violencia contra una persona o un grupo, o descripciones generales de imágenes sangrientas. |
| Contenido sexual | Incluye referencias a actos sexual o a otro contenido obsceno. |
| Insultos | Comentarios insultantes, provocadores o negativos hacia una persona o un grupo de personas. |
| Lenguaje obsceno | Lenguaje obsceno o vulgar, como insultos. |
| Muerte, daños y tragedias | Muertes de personas, tragedias, accidentes, catástrofes y autolesiones. |
| Armas de fuego y de otros tipos | Contenido en el que se mencionan cuchillos, pistolas, armas personales y accesorios, como municiones, fundas, etcétera. |
| Seguridad pública | Servicios y organizaciones que proporcionan asistencia y garantizan la seguridad pública. |
| Salud | Salud humana, incluidos: problemas de salud, enfermedades y trastornos terapias médicas, medicamentos, vacunación, prácticas médicas y recursos para sanar, incluidos los grupos de apoyo. |
| Religión y creencias | Sistemas de creencias que se enfrentan a la posibilidad de leyes y seres sobre naturales; religión, fe, creencia, práctica espiritual, iglesias y lugares de culto. Incluye la astrología y el ocultismo. |
| Drogas ilegales | Drogas ilegales y recreativas; parafernalia y cultivo de droga, headshops, etcétera. Incluye el uso medicinal de drogas que suelen consumirse con fines recreativos (p.ej., la marihuana). |
| Guerra y conflicto | Problemas de conflicto, conflictos militares y conflictos físicos importantes que involucran a gran cantidad de personas. Incluye discusiones sobre servicios militares, incluso si no están directamente relacionados con una guerra o un conflicto. |
| Finanzas | Servicios financieros y para consumidores, como bancos, préstamos, crédito, inversiones y seguros |
| Política | Noticias y medios de comunicación políticas; debates sobre políticas sociales, gubernamentales y públicas. |
| Legal | Contenido relacionado con la ley, que incluye: corporaciones legales, información legal, materiales legales principales, servicios legales, publicaciones y tecnologías legales, testigos expertos, asesores de abogados y otros proveedores de servicios legales. |
Puntuaciones de confianza de los atributos de seguridad
Cada atributo de seguridad tiene asociada una puntuación de confianza entre 0.00 y 1.00, que refleja la probabilidad de que la entrada o respuesta pertenezca a una categoría determinada.
Respuesta de muestra
{
"moderationCategories": [
{
"name": "Toxic",
"confidence": 0.10
},
{
"name": "Insult",
"confidence": 0.12
},
{
"name": "Profanity",
"confidence": 0.07
},
{
"name": "Derogatory",
"confidence": 0.04
},
{
"name": "Sexual",
"confidence": 0.00
},
{
"name": "Death, Harm & Tragedy",
"confidence": 0.00
},
{
"name": "Violent",
"confidence": 0.00
},
{
"name": "Firearms & Weapons",
"confidence": 0.00
},
{
"name": "Public Safety",
"confidence": 0.01
},
{
"name": "Health",
"confidence": 0.01
},
{
"name": "Religion & Belief",
"confidence": 0.00
},
{
"name": "Illicit Drugs",
"confidence": 0.01
},
{
"name": "War & Conflict",
"confidence": 0.02
},
{
"name": "Politics",
"confidence": 0.01
},
{
"name": "Finance",
"confidence": 0.00
},
{
"name": "Legal",
"confidence": 0.00
}
]
}
Prueba tus umbrales de confianza
Puedes probar los filtros de seguridad de Google y definir los umbrales de confianza adecuados para tu empresa. El uso de estos umbrales permite adoptar medidas exhaustivas para detectar contenidos que infrinjan las políticas de uso o las condiciones del servicio de Google y tomar las medidas adecuadas.
Las puntuaciones de confianza son solo predicciones. No debes depender de las puntuaciones para confiabilidad o precisión. Google no es responsable de interpretar ni usar estas puntuaciones para las decisiones empresariales.
Diferencia entre probabilidad y gravedad
Las puntuaciones de confianza indican que el contenido pertenece a la categoría especificada y no a la gravedad. Es importante saber esto porque algunos contenidos pueden tener una baja probabilidad de ser inseguros, aunque la gravedad del daño pueda seguir siendo alta. Por ejemplo, comparemos las siguientes oraciones:
- El robot me golpeó.
- El robot me acuchilló.
La oración 1 podría tener una mayor probabilidad de ser insegura, pero podrías considerar que la oración 2 es de mayor gravedad en términos de violencia.
Por lo tanto, es importante que pruebes y consideres con cuidado cuál es el nivel adecuado de bloqueo para tus casos de uso y, al mismo tiempo, minimices el daño a los usuarios finales.
Compatibilidad con idiomas
| Idioma | ISO-639-1 | Asistencia |
|---|---|---|
| Inglés | es | sí |
| Español | es | sí |
| Portugués | pt | sí |
| Francés | fr | sí |
| Italiano | it | sí |
| Alemán | de | sí |
| Chino | zh | sí |
| Japonés | ja | sí |
| Coreano | ko | sí |
| Neerlandés | nl | limitado |
| Ruso | ru | limitado |
| Hindi | hi | limitado |
| Indonesio | id | limitado |
| Árabe | ar | limitado |
Cómo moderar el texto
En esta sección, se muestra cómo moderar el texto en un documento. Debes enviar una solicitud por separado para cada documento.
Este es un ejemplo de moderación de texto proporcionado como una cadena:
Protocolo
Para moderar el contenido de un documento, realiza una solicitud POST al método de REST documents:moderateText y proporciona el cuerpo de la solicitud adecuado, como se muestra en el siguiente ejemplo.
En este ejemplo, se usa el comando gcloud auth application-default print-access-token a fin de obtener un token de acceso correspondiente a una cuenta de servicio configurada para el proyecto con la CLI de gcloud de Google Cloud Platform.
Para obtener instrucciones sobre cómo instalar la CLI de gcloud y configurar un proyecto con una cuenta de servicio, consulta la Guía de inicio rápido.
curl -X POST \ -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \ -H "Content-Type: application/json; charset=utf-8" \ --data "{ 'document':{ 'type':'PLAIN_TEXT', 'content':'Shut up!' } }" "https://language.googleapis.com/v1/documents:moderateText"
Modera el texto de Cloud Storage
El siguiente es un ejemplo de moderación de texto almacenado en un archivo de texto en Cloud Storage:
Protocolo
Para moderar el texto de un documento almacenado en Cloud Storage, realiza una solicitud POST al método REST documents:moderateText y proporciona el cuerpo de la solicitud adecuado con la ruta del documento, como se muestra en el siguiente ejemplo.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ https://language.googleapis.com/v1/documents:moderateText -d "{ 'document':{ 'type':'PLAIN_TEXT', 'gcsContentUri':'gs://<bucket-name>/<object-name>' } }"