La modération de texte analyse un document par rapport à une liste d'attributs de sécurité, qui incluent les "catégories nuisibles" et les sujets pouvant être considérés comme sensibles. Pour modérer le texte dans un document, appelez la méthode moderateText.
La liste complète des catégories renvoyées pour la méthode moderateText est disponible ici:
| Attribut de sécurité | Description |
|---|---|
| Toxique | Contenu grossier, irrespectueux ou déraisonnable. |
| Contenu désobligeant | Commentaires négatifs ou nuisibles ciblant une identité et/ou des attributs protégés. |
| Violent | Décrit des scénarios de violence contre un individu ou un groupe, ou des descriptions générales de contenu sanglant. |
| Contenu à caractère sexuel | contiennent des références à des actes sexuels ou à d'autres contenus obscènes ; |
| Insulte | Commentaires insultants, provocateurs ou négatifs à l'égard d'une personne ou d'un groupe de personnes. |
| Grossièretés | Langage obscène ou grossier tel que les jurons. |
| Décès, torts et tragédie | Décès de personne, tragédies, accidents, catastrophes et automutilation. |
| Armes et armes à feu | Contenu mentionnant des couteaux, des armes à feu, des armes personnelles et des accessoires tels que des munitions, des étuis, etc. |
| Sécurité publique | Services et organisations qui fournissent des soins et assurent la sécurité publique. |
| Health | Santé humaine, y compris : pathologies, maladies et troubles Thérapies médicales, médicaments, vaccinations, pratiques médicales et ressources de guérison, y compris des groupes de soutien. |
| Religions et croyances | Systèmes de croyances qui abordent la possibilité d'avoir des êtres et des lois surnaturels ; religion, foi, croyance, pratique spirituelle, églises et lieux de culte. Inclut l'astrologie et l'occultisme. |
| Drogues illicites | Drogues récréatives et illicites, culture de drogues, accessoires pour s'apparentés, etc. Inclut la consommation médicinale de drogues généralement utilisées à des fins récréatives (par exemple, la marijuana). |
| Guerre et conflit | Guerres, conflits militaires et conflits physiques majeurs impliquant un grand nombre de personnes. Inclut les discussions sur les services militaires, même s'ils ne sont pas directement liés à une guerre ou un conflit. |
| Finance | Services financiers aux consommateurs et aux entreprises (banques, prêts, crédits, investissement, assurances, etc.) |
| Politique | Actualités et médias politiques ; discussions autour des politiques sociales, gouvernementales et publiques. |
| Legal | Contenu lié au droit, y compris les cabinets d'avocats, informations juridiques, documents juridiques principaux, services parajuridiques, publications et technologies juridiques, témoins experts, consultants en contentieux et autres fournisseurs de services juridiques |
Scores de confiance de l'attribut de sécurité
Chaque attribut de sécurité est associé à un score de confiance compris entre 0,00 et 1,00, reflétant la probabilité que l'entrée ou la réponse appartienne à une catégorie donnée.
Exemple de réponse
{
"moderationCategories": [
{
"name": "Toxic",
"confidence": 0.10
},
{
"name": "Insult",
"confidence": 0.12
},
{
"name": "Profanity",
"confidence": 0.07
},
{
"name": "Derogatory",
"confidence": 0.04
},
{
"name": "Sexual",
"confidence": 0.00
},
{
"name": "Death, Harm & Tragedy",
"confidence": 0.00
},
{
"name": "Violent",
"confidence": 0.00
},
{
"name": "Firearms & Weapons",
"confidence": 0.00
},
{
"name": "Public Safety",
"confidence": 0.01
},
{
"name": "Health",
"confidence": 0.01
},
{
"name": "Religion & Belief",
"confidence": 0.00
},
{
"name": "Illicit Drugs",
"confidence": 0.01
},
{
"name": "War & Conflict",
"confidence": 0.02
},
{
"name": "Politics",
"confidence": 0.01
},
{
"name": "Finance",
"confidence": 0.00
},
{
"name": "Legal",
"confidence": 0.00
}
]
}
Tester vos seuils de confiance
Vous pouvez tester les filtres de sécurité de Google et définir des seuils de confiance adaptés à votre entreprise. En utilisant ces seuils, vous pouvez prendre des mesures complètes pour détecter les contenus qui ne respectent pas les règles d'utilisation ou les conditions d'utilisation de Google, et prendre les mesures appropriées.
Les scores de confiance ne sont que des prédictions. Vous ne devez pas vous fier à ces scores pour la fiabilité ou la justesse. Google n'est pas responsable de l'interprétation ni de l'utilisation de ces scores pour les décisions commerciales.
Différence entre probabilité et gravité
Les scores de confiance indiquent que le contenu appartient à la catégorie spécifiée et non à la gravité. Cela est important, car certains contenus peuvent présenter une faible probabilité d'être non sécurisés, même si la gravité des dommages est toujours élevée. Par exemple, pour comparer les phrases :
- Le robot m'a donné un coup de poing.
- Le robot m'a tranché.
La première phrase peut accroître la probabilité d'être dangereuse, mais vous pouvez considérer que la phrase 2 présente une gravité plus élevée en termes de violence.
Par conséquent, il est important de tester soigneusement le niveau de blocage approprié pour vos cas d'utilisation et de déterminer le niveau de blocage approprié, tout en limitant les dommages aux utilisateurs finaux.
Langues acceptées
| Langue | ISO-639-1 | Assistance |
|---|---|---|
| Français | es | oui |
| Espagnol | es | oui |
| Portugais | pt | oui |
| Français | fr | oui |
| Italien | it | oui |
| Allemand | de | oui |
| Chinois | zh | oui |
| Japonais | ja | oui |
| Coréen | ko | oui |
| Néerlandais | nl | limité |
| Russe | ru | limité |
| Hindi | salut | limité |
| Indonésien | id | limité |
| Arabe | ar | limité |
Comment modérer du texte
Cette section explique comment modérer le texte dans un document. Vous devez envoyer une demande distincte pour chaque document.
Voici un exemple de modération de texte fourni sous forme de chaîne:
Protocole
Pour modérer le contenu d'un document, envoyez une requête POST à la méthode REST documents:moderateText et fournissez le corps de requête approprié, comme indiqué dans l'exemple suivant.
L'exemple utilise la commande gcloud auth application-default print-access-token pour obtenir un jeton d'accès pour un compte de service configuré pour le projet à l'aide de gcloud CLI de Google Cloud Platform.
Pour obtenir des instructions d'installation de la gcloud CLI et configurer un projet avec un compte de service, consultez le guide de démarrage rapide.
curl -X POST \
-H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
-H "Content-Type: application/json; charset=utf-8" \
--data "{
'document':{
'type':'PLAIN_TEXT',
'content':'Shut up!'
}
}" "https://language.googleapis.com/v1/documents:moderateText"
Modérer le texte depuis Cloud Storage
Voici un exemple de modération de texte stocké dans un fichier texte sur Cloud Storage:
Protocole
Pour modérer le texte d'un document stocké dans Cloud Storage, envoyez une requête POST à la méthode REST documents:moderateText et fournissez au corps de requête approprié le chemin d'accès au document, comme illustré dans l'exemple suivant.
curl -X POST \
-H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
https://language.googleapis.com/v1/documents:moderateText -d "{
'document':{
'type':'PLAIN_TEXT',
'gcsContentUri':'gs://<bucket-name>/<object-name>'
}
}"