La moderación de texto analiza un documento en función de una lista de atributos de seguridad, que incluyen "categorías dañinas" y temas que pueden considerarse sensibles. Para moderar el texto de un documento, llama al método moderateText.
Aquí puede consultar una lista completa de las categorías devueltas por el método moderateText:
| Atributo de seguridad | Descripción |
|---|---|
| Tóxico | Contenido grosero, irrespetuoso o poco razonable. |
| Despectivo | Comentarios negativos u ofensivos dirigidos a la identidad o a atributos protegidos. |
| Violento | Describe situaciones en las que se ejerce violencia contra un individuo o un grupo, o descripciones generales de contenido gore. |
| Sexual | Incluye referencias a actos sexuales u otro contenido lascivo. |
| Insulto | Comentarios insultantes, incendiarios o negativos hacia una persona o un grupo. |
| Palabras malsonantes | Lenguaje vulgar u obsceno, como insultos. |
| Muerte, daños y tragedias | Muertes, tragedias, accidentes, desastres y autolesiones. |
| Armas de fuego y otras armas | Contenido que mencione cuchillos, pistolas, armas personales y accesorios, como munición, fundas, etc. |
| Seguridad pública | Servicios y organizaciones que proporcionan ayuda y garantizan la seguridad pública. |
| Salud | Salud humana, lo que incluye: Enfermedades y trastornos Terapias médicas, medicamentos, vacunas, prácticas médicas y recursos para la recuperación, como grupos de apoyo. |
| Religión y creencias | Sistemas de creencias que tratan la posibilidad de que existan leyes y seres sobrenaturales; religión, fe, creencias, prácticas espirituales, iglesias y lugares de culto. Incluye la astrología y el ocultismo. |
| Drogas ilícitas | Drogas recreativas e ilícitas, parafernalia para el consumo de drogas y cultivo, tiendas especializadas en productos para el consumo de drogas, etc. Incluye el uso medicinal de drogas que se suelen usar con fines recreativos (por ejemplo, la marihuana). |
| Guerras y conflictos | Guerras, conflictos militares y conflictos físicos importantes en los que participen grandes cantidades de personas. Incluye debates sobre servicios militares, aunque no estén directamente relacionados con una guerra o un conflicto. |
| Finanzas | Servicios financieros para consumidores y empresas, como banca, préstamos, crédito, inversión y seguros. |
| Política | Noticias y medios de comunicación relacionados con la política, incluidos los debates de política social, gubernamental y pública. |
| Legal | Contenido relacionado con la abogacía, como bufetes de abogados, información jurídica, material jurídico primario, servicios de asistencia jurídica, publicaciones y tecnología jurídicas, peritos, asesores jurídicos y otros proveedores de servicios jurídicos. |
Puntuaciones de confianza de los atributos de seguridad
Cada atributo de seguridad tiene una puntuación de confianza asociada, que va de 0,00 a 1,00 y refleja la probabilidad de que la entrada o la respuesta pertenezcan a una categoría determinada.
Respuesta de ejemplo
{
"moderationCategories": [
{
"name": "Toxic",
"confidence": 0.10
},
{
"name": "Insult",
"confidence": 0.12
},
{
"name": "Profanity",
"confidence": 0.07
},
{
"name": "Derogatory",
"confidence": 0.04
},
{
"name": "Sexual",
"confidence": 0.00
},
{
"name": "Death, Harm & Tragedy",
"confidence": 0.00
},
{
"name": "Violent",
"confidence": 0.00
},
{
"name": "Firearms & Weapons",
"confidence": 0.00
},
{
"name": "Public Safety",
"confidence": 0.01
},
{
"name": "Health",
"confidence": 0.01
},
{
"name": "Religion & Belief",
"confidence": 0.00
},
{
"name": "Illicit Drugs",
"confidence": 0.01
},
{
"name": "War & Conflict",
"confidence": 0.02
},
{
"name": "Politics",
"confidence": 0.01
},
{
"name": "Finance",
"confidence": 0.00
},
{
"name": "Legal",
"confidence": 0.00
}
]
}
Probar los umbrales de confianza
Puedes probar los filtros de seguridad de Google y definir los umbrales de confianza que mejor se adapten a tu empresa. Al usar estos umbrales, puede tomar medidas integrales para detectar contenido que infrinja las políticas de uso o los términos del servicio de Google y tomar las medidas oportunas.
Las puntuaciones de confianza son solo predicciones. No debes depender de las puntuaciones para determinar la fiabilidad o la precisión. Google no se hace responsable de interpretar ni de usar estas puntuaciones para tomar decisiones empresariales.
Diferencia entre probabilidad y gravedad
Las puntuaciones de confianza indican que el contenido pertenece a la categoría especificada, no a la gravedad. Es importante tenerlo en cuenta porque algunos contenidos pueden tener una probabilidad baja de ser no seguros, aunque la gravedad de los daños siga siendo alta. Por ejemplo, si comparamos las siguientes frases:
- El robot me ha dado un puñetazo.
- El robot me ha acuchillado.
La frase 1 puede provocar una mayor probabilidad de que sea contenido no seguro, pero la frase 2 puede considerarse de mayor gravedad en términos de violencia.
Por lo tanto, es importante que pruebes cuidadosamente y determines el nivel de bloqueo adecuado para tus casos prácticos, al tiempo que minimizas los daños a los usuarios finales.
Idiomas admitidos
| Idioma | ISO-639-1 | Asistencia |
|---|---|---|
| Inglés | es | yes |
| Español | es | yes |
| Portugués | pt | yes |
| Francés | fr | yes |
| Italiano | it | yes |
| Alemán | de | yes |
| Chino | zh | yes |
| Japonés | ja | yes |
| Coreano | ko | yes |
| neerlandés | nl | limitado |
| Ruso | ru | limitado |
| Hindi | hola | limitado |
| Indonesio | id | limitado |
| Árabe | ar | limitado |
Cómo moderar texto
En esta sección se muestra cómo moderar texto en un documento. Debe enviar una solicitud independiente para cada documento.
Aquí tienes un ejemplo de moderación de texto proporcionado como una cadena:
Protocolo
Para moderar el contenido de un documento, haz una solicitud POST al método REST documents:moderateText y proporciona el cuerpo de la solicitud adecuado, como se muestra en el siguiente ejemplo.
En el ejemplo se usa el comando gcloud auth application-default print-access-token
para obtener un token de acceso de una cuenta de servicio configurada para el proyecto mediante la CLI de gcloud de Google Cloud Platform.
Para obtener instrucciones sobre cómo instalar la CLI de gcloud y configurar un proyecto con una cuenta de servicio, consulta la guía de inicio rápido.
curl -X POST \ -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \ -H "Content-Type: application/json; charset=utf-8" \ --data "{ 'document':{ 'type':'PLAIN_TEXT', 'content':'Shut up!' } }" "https://language.googleapis.com/v1/documents:moderateText"
Moderar texto de Cloud Storage
A continuación, se muestra un ejemplo de cómo moderar texto almacenado en un archivo de texto de Cloud Storage:
Protocolo
Para moderar el texto de un documento almacenado en Cloud Storage, haz una solicitud POST al método REST documents:moderateText y proporciona el cuerpo de la solicitud adecuado con la ruta al documento, tal como se muestra en el siguiente ejemplo.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ https://language.googleapis.com/v1/documents:moderateText -d "{ 'document':{ 'type':'PLAIN_TEXT', 'gcsContentUri':'gs://<bucket-name>/<object-name>' } }"