La modération de texte analyse un document par rapport à une liste de
des attributs de sécurité, qui incluent les "catégories dangereuses" ; et les sujets pouvant être considérés comme sensibles. À modérer
le texte d'un document, appelez la méthode moderateText.
La liste complète des catégories renvoyées pour la méthode moderateText est disponible ici :
| Attribut de sécurité | Description |
|---|---|
| Contenu toxique | Contenu offensant, irrespectueux ou déraisonnable. |
| Contenu désobligeant | Commentaires négatifs ou offensants ciblant l'identité et/ou les attributs protégés. |
| Violence | Descriptions de scénarios représentant des actes de violence contre un individu ou un groupe, ou descriptions générales de contenus sanglants. |
| Contenu à caractère sexuel | Contient des références à des actes sexuels ou à d'autres contenus obscènes. |
| Insultes | Commentaires insultants, provocateurs ou négatifs à l'égard d'une personne ou d'un groupe de personnes. |
| Grossièretés | Langage obscène ou grossier tel que les jurons. |
| Décès, torts et tragédie | Décès de personne, tragédies, accidents, catastrophes et automutilation. |
| Armes et armes à feu | Contenu mentionnant des couteaux, des armes à feu, des armes personnelles et des accessoires tels que des munitions, des étuis, etc. |
| Sécurité publique | Services et organisations qui fournissent des soins et assurent la sécurité publique. |
| Santé | Santé humaine, ce qui inclut : affections, maladies et troubles de la santé ; thérapies, médication, vaccinations et pratiques médicales ; ressources pour la guérison, y compris les groupes de soutien. |
| Religions et croyances | Systèmes de croyance basés sur la possibilité de lois et d'êtres surnaturels ; religion, foi, croyance, pratique spirituelle, églises et lieux de culte. Inclut l'astrologie et l'occultisme. |
| Drogues illicites | Drogues récréatives et illicites ; accessoires pour la consommation de drogues et culture de la drogue, etc. Inclut l'utilisation médicale de médicaments généralement utilisés de manière récréative (par exemple, de la marijuana). |
| Guerre et conflit | Guerres, conflits militaires et conflits physiques majeurs impliquant un grand nombre de personnes. Inclut les discussions sur les services militaires, même si elles ne sont pas directement liées à une guerre ou un conflit. |
| Finance | Services financiers aux particuliers et aux entreprises (banques, prêts, crédits, investissements et assurances, par exemple) |
| Politique | Actualités et médias politiques les discussions sur les politiques sociales, gouvernementales et publiques. |
| Juridique | Contenu lié au droit, y compris les cabinets juridiques, les informations juridiques, les documents juridiques principaux, les services parajuridiques, les publications et technologies juridiques, les témoins experts, les consultants en litige et d'autres fournisseurs de services juridiques. |
Scores de confiance des attributs de sécurité
Chaque attribut de sécurité est associé à un score de confiance compris entre 0,00 et 1,00, qui reflète la probabilité que l'entrée ou la réponse appartienne à une catégorie donnée.
Exemple de réponse
{
"moderationCategories": [
{
"name": "Toxic",
"confidence": 0.10
},
{
"name": "Insult",
"confidence": 0.12
},
{
"name": "Profanity",
"confidence": 0.07
},
{
"name": "Derogatory",
"confidence": 0.04
},
{
"name": "Sexual",
"confidence": 0.00
},
{
"name": "Death, Harm & Tragedy",
"confidence": 0.00
},
{
"name": "Violent",
"confidence": 0.00
},
{
"name": "Firearms & Weapons",
"confidence": 0.00
},
{
"name": "Public Safety",
"confidence": 0.01
},
{
"name": "Health",
"confidence": 0.01
},
{
"name": "Religion & Belief",
"confidence": 0.00
},
{
"name": "Illicit Drugs",
"confidence": 0.01
},
{
"name": "War & Conflict",
"confidence": 0.02
},
{
"name": "Politics",
"confidence": 0.01
},
{
"name": "Finance",
"confidence": 0.00
},
{
"name": "Legal",
"confidence": 0.00
}
]
}
Tester vos seuils de confiance
Vous pouvez tester les filtres de sécurité de Google et définir des seuils de confiance adaptés à votre entreprise. En utilisant ces seuils, vous pouvez prendre des mesures complètes pour détecter les contenus qui ne respectent pas les règles d'utilisation ou les conditions d'utilisation de Google, et prendre les mesures appropriées.
Les scores de confiance ne sont que des prédictions. Vous ne devriez pas dépendre du des scores de fiabilité ou de justesse. Google n'est pas responsable de l'interprétation ni de l'utilisation de ces scores pour les décisions commerciales.
Différence entre la probabilité et la gravité
Les scores de confiance indiquent que le contenu appartient à la catégorie spécifiée et non à la gravité. Cela est important, car certains contenus peuvent présenter une faible probabilité d'être non sécurisés, même si la gravité des dommages est toujours élevée. Par exemple, pour comparer les phrases :
- Le robot m'a frappé.
- Le robot m'a tranché.
La phrase 1 peut entraîner une probabilité de dangerosité plus élevée, mais vous pouvez considérer que la phrase 2 a un niveau de gravité supérieur en termes de violence.
Par conséquent, il est important que vous effectuiez soigneusement les tests et de déterminer le niveau de blocage approprié pour vos cas d'utilisation tout en minimisant les dommages aux utilisateurs finaux.
Langues acceptées
| Langue | ISO-639-1 | Assistance |
|---|---|---|
| Anglais | es | oui |
| Espagnol | es | oui |
| Portugais | pt | oui |
| Français | fr | oui |
| Italien | pour les recevoir. | oui |
| Allemand | de | oui |
| Chinois | zh | oui |
| Japonais | ja | oui |
| Coréen | ko | oui |
| Néerlandais | nl | limitée |
| Russe | ru | limitée |
| Hindi | salut | limitée |
| Indonésien | id | limité |
| Arabe | ar | limitée |
Modérer le texte
Cette section explique comment modérer le texte d'un document. Vous devez envoyer une demande distincte pour chaque document.
Voici un exemple de modération de texte fourni sous forme de chaîne:
Protocole
Pour modérer le contenu d'un document, envoyez une requête POST à la méthode REST documents:moderateText et fournissez le corps de la requête approprié, comme indiqué dans l'exemple suivant.
L'exemple utilise la commande gcloud auth application-default print-access-token pour obtenir un jeton d'accès pour un compte de service configuré pour le projet à l'aide de gcloud CLI de Google Cloud Platform.
Pour obtenir des instructions d'installation de la gcloud CLI et configurer un projet avec un compte de service, consultez le guide de démarrage rapide.
curl -X POST \ -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \ -H "Content-Type: application/json; charset=utf-8" \ --data "{ 'document':{ 'type':'PLAIN_TEXT', 'content':'Shut up!' } }" "https://language.googleapis.com/v1/documents:moderateText"
Modérer le texte depuis Cloud Storage
Voici un exemple de modération de texte stocké dans un fichier texte sur Cloud Storage :
Protocole
Pour modérer le texte d'un document stocké dans Cloud Storage, envoyez une requête POST à la méthode REST documents:moderateText et fournissez le corps de la requête approprié avec le chemin d'accès au document comme illustré dans l'exemple suivant.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ https://language.googleapis.com/v1/documents:moderateText -d "{ 'document':{ 'type':'PLAIN_TEXT', 'gcsContentUri':'gs://<bucket-name>/<object-name>' } }"