Moderar texto

La moderación de texto analiza un documento en función de una lista de atributos de seguridad, que incluyen "categorías dañinas" y temas que pueden considerarse sensibles. Para moderar el texto de un documento, llama al método moderateText.

Aquí puede consultar una lista completa de las categorías devueltas por el método moderateText:

Atributo de seguridad Descripción
Tóxico Contenido grosero, irrespetuoso o poco razonable.
Despectivo Comentarios negativos u ofensivos dirigidos a la identidad o a atributos protegidos.
Violento Describe situaciones en las que se ejerce violencia contra un individuo o un grupo, o descripciones generales de contenido gore.
Sexual Incluye referencias a actos sexuales u otro contenido lascivo.
Insulto Comentarios insultantes, incendiarios o negativos hacia una persona o un grupo.
Palabras malsonantes Lenguaje vulgar u obsceno, como insultos.
Muerte, daños y tragedias Muertes, tragedias, accidentes, desastres y autolesiones.
Armas de fuego y otras armas Contenido que mencione cuchillos, pistolas, armas personales y accesorios, como munición, fundas, etc.
Seguridad pública Servicios y organizaciones que proporcionan ayuda y garantizan la seguridad pública.
Salud Salud humana, lo que incluye: Enfermedades y trastornos Terapias médicas, medicamentos, vacunas, prácticas médicas y recursos para la recuperación, como grupos de apoyo.
Religión y creencias Sistemas de creencias que tratan la posibilidad de que existan leyes y seres sobrenaturales; religión, fe, creencias, prácticas espirituales, iglesias y lugares de culto. Incluye la astrología y el ocultismo.
Drogas ilícitas Drogas recreativas e ilícitas, parafernalia para el consumo de drogas y cultivo, tiendas especializadas en productos para el consumo de drogas, etc. Incluye el uso medicinal de drogas que se suelen usar con fines recreativos (por ejemplo, la marihuana).
Guerras y conflictos Guerras, conflictos militares y conflictos físicos importantes en los que participen grandes cantidades de personas. Incluye debates sobre servicios militares, aunque no estén directamente relacionados con una guerra o un conflicto.
Finanzas Servicios financieros para consumidores y empresas, como banca, préstamos, crédito, inversión y seguros.
Política Noticias y medios de comunicación relacionados con la política, incluidos los debates de política social, gubernamental y pública.
Legal Contenido relacionado con la abogacía, como bufetes de abogados, información jurídica, material jurídico primario, servicios de asistencia jurídica, publicaciones y tecnología jurídicas, peritos, asesores jurídicos y otros proveedores de servicios jurídicos.

Puntuaciones de confianza de los atributos de seguridad

Cada atributo de seguridad tiene una puntuación de confianza asociada entre 0,00 y 1,00, que refleja la probabilidad de que la entrada o la respuesta pertenezcan a una categoría determinada.

Ejemplo de respuesta

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

Probar los umbrales de confianza

Puedes probar los filtros de seguridad de Google y definir los umbrales de confianza que mejor se adapten a tu empresa. Al usar estos umbrales, puede tomar medidas integrales para detectar contenido que infrinja las políticas de uso o los términos del servicio de Google y tomar las medidas oportunas.

Las puntuaciones de confianza son solo predicciones. No debes depender de las puntuaciones para determinar la fiabilidad o la precisión. Google no se hace responsable de interpretar ni de usar estas puntuaciones para tomar decisiones empresariales.

Diferencia entre probabilidad y gravedad

Las puntuaciones de confianza indican que el contenido pertenece a la categoría especificada, no a la gravedad. Es importante tenerlo en cuenta porque algunos contenidos pueden tener una probabilidad baja de ser no seguros, aunque la gravedad de los daños siga siendo alta. Por ejemplo, si comparamos las siguientes frases:

  1. El robot me ha dado un puñetazo.
  2. El robot me ha acuchillado.

La frase 1 puede provocar una mayor probabilidad de que no sea segura, pero puede que consideres que la frase 2 es más grave en términos de violencia.

Por lo tanto, es importante que pruebes cuidadosamente y determines cuál es el nivel de bloqueo adecuado para tus casos prácticos, al tiempo que minimizas los daños a los usuarios finales.

Idiomas admitidos

Idioma ISO-639-1 Asistencia
Inglés es yes
Español es yes
Portugués pt yes
Francés fr yes
Italiano it yes
Alemán de yes
Chino zh yes
Japonés ja yes
Coreano ko yes
neerlandés nl limitado
Ruso ru limitado
Hindi hola limitado
Indonesio id limitado
Árabe ar limitado

Cómo moderar texto

En esta sección se muestra cómo moderar texto en un documento. Debe enviar una solicitud independiente para cada documento.

Aquí tienes un ejemplo de moderación de texto proporcionado como una cadena:

Protocolo

Para moderar el contenido de un documento, haz una solicitud POST al método REST documents:moderateText y proporciona el cuerpo de la solicitud adecuado, como se muestra en el siguiente ejemplo.

En el ejemplo se usa el comando gcloud auth application-default print-access-token para obtener un token de acceso de una cuenta de servicio configurada para el proyecto con la CLI de gcloud de Google Cloud Platform. Para obtener instrucciones sobre cómo instalar la CLI de gcloud y configurar un proyecto con una cuenta de servicio, consulta la guía de inicio rápido.

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

Moderar texto de Cloud Storage

A continuación, se muestra un ejemplo de cómo moderar texto almacenado en un archivo de texto de Cloud Storage:

Protocolo

Para moderar el texto de un documento almacenado en Cloud Storage, haz una solicitud POST al método REST documents:moderateText y proporciona el cuerpo de la solicitud adecuado con la ruta al documento, tal como se muestra en el siguiente ejemplo.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"