Moderar texto

La moderación de texto analiza un documento en función de una lista de atributos de seguridad, que incluyen “categorías dañinas” y temas que pueden considerarse sensibles. Para moderar el texto de un documento, llama al método moderateText.

Una lista completa de las categorías que se muestran para moderateText se encuentran aquí:

Atributo de seguridad Descripción
Tóxico Contenido grosero, irrespetuoso o poco razonable
Contenido peyorativo Comentarios negativos o dañinos que se orientan a la identidad o los atributos protegidos.
Violento Describe situaciones que representen violencia contra una persona o un grupo, o descripciones generales de imágenes sangrientas.
Contenido sexual Incluye referencias a actos sexual o a otro contenido obsceno.
Insultos Comentarios insultantes, provocadores o negativos hacia una persona o un grupo de personas.
Lenguaje obsceno Lenguaje obsceno o vulgar, como insultos.
Muerte, daños y tragedias Muertes de personas, tragedias, accidentes, catástrofes y autolesiones.
Armas de fuego y de otros tipos Contenido en el que se mencionan cuchillos, pistolas, armas personales y accesorios, como municiones, fundas, etcétera.
Seguridad pública Servicios y organizaciones que proporcionan asistencia y garantizan la seguridad pública.
Salud Salud humana, lo que incluye: Problemas de salud, enfermedades y trastornos Terapias médicas, medicamentos, vacunación, prácticas médicas y recursos para la reparación, incluidos los grupos de apoyo.
Religión y creencias Sistemas de creencias que se enfrentan a la posibilidad de leyes y seres sobre naturales; religión, fe, creencia, práctica espiritual, iglesias y lugares de culto. Incluye la astrología y el ocultismo.
Drogas ilegales Drogas ilegales y recreativas; parafernalia y cultivo de droga, headshops, etcétera. Incluye el uso medicinal de drogas que suelen consumirse con fines recreativos (p. ej., la marihuana).
Guerra y conflicto Guerras, conflictos militares y conflictos físicos importantes que involucran a un gran número de personas. Incluye discusiones sobre servicios militares, incluso si no están directamente relacionados con una guerra o un conflicto.
Finanzas Servicios financieros para consumidores y empresas, como banca, préstamos, crédito, inversiones y seguros.
Política Noticias y medios de comunicación políticas; debates sobre políticas sociales, gubernamentales y públicas.
Legal Contenido relacionado con el derecho, incluidos los estudios jurídicos, la información legal, los materiales jurídicos primarios, los servicios de asistencia jurídica, la tecnología y las publicaciones legales, los testigos expertos, los asesores jurídicos y otros proveedores de servicios legales.

Puntuaciones de confianza de los atributos de seguridad

Cada atributo de seguridad tiene asociada una puntuación de confianza entre 0.00 y 1.00, lo que refleja la probabilidad de la entrada o respuesta que pertenece a una categoría determinada.

Respuesta de muestra

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

Prueba tus umbrales de confianza

Puedes probar los filtros de seguridad de Google y definir los umbrales de confianza adecuados para tu empresa. El uso de estos umbrales permite adoptar medidas exhaustivas para detectar contenidos que infrinjan las políticas de uso o las condiciones del servicio de Google y tomar las medidas adecuadas.

Las puntuaciones de confianza son solo predicciones. No deberías depender del de puntuación de confiabilidad o exactitud. Google no es responsable de interpretar ni usar estas puntuaciones para las decisiones empresariales.

Diferencia entre probabilidad y gravedad

Las puntuaciones de confianza indican que Si el contenido pertenece a la categoría especificada y no a la gravedad. Es importante saber esto porque algunos contenidos pueden tener una baja probabilidad de ser inseguros, aunque la gravedad del daño pueda seguir siendo alta. Por ejemplo, comparemos las siguientes oraciones:

  1. El robot me golpeó.
  2. El robot me acuchilló.

La oración 1 podría tener una mayor probabilidad de ser insegura, pero podrías considerar que la oración 2 es de mayor gravedad en términos de violencia.

Por lo tanto, es importante que pruebes y consideres con cuidado cuál es el nivel adecuado de bloqueo para tus casos de uso y, al mismo tiempo, minimices el daño a los usuarios finales.

Compatibilidad con idiomas

Idioma ISO-639-1 Asistencia
Inglés es
Español es
Portugués pt
Francés fr
Italiano it
Alemán de
Chino zh
Japonés ja
Coreano ko
Neerlandés nl limitado
Ruso ru limitado
Hindi hi limitado
Indonesio id limitado
Árabe ar limitado

Cómo moderar el texto

En esta sección, se muestra cómo moderar el texto en un documento. Debes enviar una solicitud diferente para cada documento.

Este es un ejemplo de moderación de texto proporcionado como una cadena:

Protocolo

Para moderar el contenido de un documento, envía una solicitud POST a la documents:moderateText REST y proporcionan el cuerpo de la solicitud correspondiente, como se muestra en el siguiente ejemplo.

En este ejemplo, se usa el comando gcloud auth application-default print-access-token a fin de obtener un token de acceso correspondiente a una cuenta de servicio configurada para el proyecto con la CLI de gcloud de Google Cloud Platform. Para obtener instrucciones sobre cómo instalar la CLI de gcloud y configurar un proyecto con una cuenta de servicio, consulta la Guía de inicio rápido.

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

Moderar texto desde Cloud Storage

El siguiente es un ejemplo de moderación de texto almacenado en un archivo de texto en Cloud Storage:

Protocolo

Para moderar el texto de un documento almacenado en Cloud Storage, realiza una solicitud POST al método REST documents:moderateText y proporciona el cuerpo de la solicitud adecuado con la ruta del documento, como se muestra en el siguiente ejemplo.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"