La moderación de texto analiza un documento con una lista de atributos de seguridad, que incluyen "categorías dañinas" y temas que pueden considerarse sensibles. Para moderar el texto de un documento, llama al método moderateText.
Aquí tienes una lista completa de las categorías que se muestran para el método moderateText:
| Atributo de seguridad | Descripción |
|---|---|
| Contenido tóxico | Contenido descortés, irrespetuoso o irracional. |
| Contenido peyorativo | Comentarios negativos o dañinos que se orientan a la identidad o los atributos protegidos. |
| Contenido violento | Describe situaciones que representen violencia contra una persona o un grupo, o descripciones generales de imágenes sangrientas. |
| Contenido sexual | Incluye referencias a actos sexual o a otro contenido obsceno. |
| Insultos | Comentarios insultantes, provocadores o negativos hacia una persona o un grupo de personas. |
| Lenguaje obsceno | Lenguaje obsceno o vulgar, como insultos. |
| Muerte, daños y tragedias | Muertes de personas, tragedias, accidentes, catástrofes y autolesiones. |
| Armas de fuego y de otros tipos | Contenido en el que se mencionan cuchillos, pistolas, armas personales y accesorios, como municiones, estuches, etcétera |
| Seguridad pública | Servicios y organizaciones que proporcionan asistencia y garantizan la seguridad pública. |
| Estado | Salud humana, incluido lo siguiente: Afecciones, enfermedades y trastornos Terapias médicas, medicamentos, vacunación, prácticas médicas y recursos para la curación, incluidos los grupos de apoyo |
| Religión y creencias | Sistemas de creencias que abordan la posibilidad de leyes y seres sobrenaturales; religión, fe, creencias, prácticas espirituales, iglesias y lugares de culto. Incluye la astrología y el ocultismo. |
| Drogas ilegales | Drogas recreativas e ilícitas; artículos relacionados con las drogas y cultivo, centros comerciales, etc. Incluye el uso medicinal de drogas que se suelen utilizar con fines recreativos (p.ej., marihuana). |
| Guerras y conflictos | Guerra, conflictos militares y conflictos físicos importantes que involucren a un gran número de personas. Incluye conversaciones sobre servicios militares, aunque no estén directamente relacionadas con una guerra o un conflicto. |
| Finanzas | Servicios financieros de consumo y de empresas, como banca, préstamos, créditos, inversiones y seguros. |
| Política | Noticias y medios de comunicación políticos; debates sobre políticas sociales, gubernamentales y públicas. |
| Legal | Contenido relacionado con la ley, como estudios jurídicos, información legal, materiales legales principales, servicios de asistencia legal, publicaciones y tecnología legales, testigos expertos, asesores en litigios y otros proveedores de servicios legales. |
Puntuaciones de confianza de los atributos de seguridad
Cada atributo de seguridad tiene asociada una puntuación de confianza entre 0.00 y 1.00, que refleja la probabilidad de que la entrada o respuesta pertenezca a una categoría determinada.
Respuesta de muestra
{
"moderationCategories": [
{
"name": "Toxic",
"confidence": 0.10
},
{
"name": "Insult",
"confidence": 0.12
},
{
"name": "Profanity",
"confidence": 0.07
},
{
"name": "Derogatory",
"confidence": 0.04
},
{
"name": "Sexual",
"confidence": 0.00
},
{
"name": "Death, Harm & Tragedy",
"confidence": 0.00
},
{
"name": "Violent",
"confidence": 0.00
},
{
"name": "Firearms & Weapons",
"confidence": 0.00
},
{
"name": "Public Safety",
"confidence": 0.01
},
{
"name": "Health",
"confidence": 0.01
},
{
"name": "Religion & Belief",
"confidence": 0.00
},
{
"name": "Illicit Drugs",
"confidence": 0.01
},
{
"name": "War & Conflict",
"confidence": 0.02
},
{
"name": "Politics",
"confidence": 0.01
},
{
"name": "Finance",
"confidence": 0.00
},
{
"name": "Legal",
"confidence": 0.00
}
]
}
Prueba tus umbrales de confianza
Puedes probar los filtros de seguridad de Google y definir los umbrales de confianza adecuados para tu empresa. El uso de estos umbrales permite adoptar medidas exhaustivas para detectar contenidos que infrinjan las políticas de uso o las condiciones del servicio de Google y tomar las medidas adecuadas.
Las puntuaciones de confianza son solo predicciones. No debes depender de las puntuaciones para obtener confiabilidad o precisión. Google no es responsable de interpretar ni usar estas puntuaciones para las decisiones empresariales.
Diferencia entre probabilidad y gravedad
Las puntuaciones de confianza indican que el contenido pertenece a la categoría especificada y no a la gravedad. Es importante saber esto porque algunos contenidos pueden tener una baja probabilidad de ser inseguros, aunque la gravedad del daño pueda seguir siendo alta. Por ejemplo, comparemos las siguientes oraciones:
- El robot me golpeó.
- El robot me acuchilló.
La oración 1 podría tener una mayor probabilidad de ser insegura, pero podrías considerar que la oración 2 es de mayor gravedad en términos de violencia.
Por lo tanto, es importante que pruebes y consideres cuidadosamente cuál es el nivel apropiado de bloqueo para tus casos de uso y, al mismo tiempo, minimices el daño a los usuarios finales.
Idiomas admitidos
| Idioma | ISO-639-1 | Asistencia |
|---|---|---|
| Inglés | es | sí |
| Español | es | sí |
| Portugués | pt | sí |
| Francés | fr | sí |
| Italiano | it | sí |
| Alemán | de | sí |
| Chino | zh | sí |
| Japonés | ja | sí |
| Coreano | ko | sí |
| Holandés | nl | limitado |
| Ruso | ru | limitado |
| Hindi | hi | limitado |
| Indonesio | id | limitado |
| Árabe | ar | limitado |
Cómo moderar texto
En esta sección, se muestra cómo moderar texto en un documento. Debes enviar una solicitud independiente para cada documento.
Este es un ejemplo de cómo moderar texto en forma de cadena:
Protocolo
Para moderar el contenido de un documento, realiza una solicitud POST al método documents:moderateText de REST y proporciona el cuerpo de solicitud adecuado, como se muestra en el siguiente ejemplo.
En este ejemplo, se usa el comando gcloud auth application-default print-access-token a fin de obtener un token de acceso correspondiente a una cuenta de servicio configurada para el proyecto con la CLI de gcloud de Google Cloud Platform.
Para obtener instrucciones sobre cómo instalar la CLI de gcloud y configurar un proyecto con una cuenta de servicio, consulta la Guía de inicio rápido.
curl -X POST \
-H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
-H "Content-Type: application/json; charset=utf-8" \
--data "{
'document':{
'type':'PLAIN_TEXT',
'content':'Shut up!'
}
}" "https://language.googleapis.com/v1/documents:moderateText"
Modera texto desde Cloud Storage
El siguiente es un ejemplo de cómo moderar texto almacenado en un archivo de texto en Cloud Storage:
Protocolo
Para moderar el texto de un documento almacenado en Cloud Storage, realiza una solicitud POST al método documents:moderateText de REST y proporciona el cuerpo de la solicitud adecuado con la ruta del documento, como se muestra en el siguiente ejemplo.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
https://language.googleapis.com/v1/documents:moderateText -d "{
'document':{
'type':'PLAIN_TEXT',
'gcsContentUri':'gs://<bucket-name>/<object-name>'
}
}"