La moderazione del testo analizza un documento in base a un elenco di attributi di sicurezza, tra cui "categorie dannose" e argomenti potenzialmente considerati sensibili. Per moderare il testo di un documento, chiama il metodo moderateText.
Qui è disponibile un elenco completo delle categorie restituite per il metodo moderateText:
| Attributo sicurezza | Descrizione |
|---|---|
| Contenuti tossici | Contenuti maleducati, irrispettosi o irragionevoli. |
| Contenuti dispregiativi | Commenti negativi o dannosi rivolti all'identità e/o agli attributi protetti. |
| Contenuti violenti | Descrive scenari che raffigurano violenza contro un individuo o un gruppo oppure descrizioni generali di scene di sangue. |
| Contenuti di natura sessuale | Contiene riferimenti ad atti sessuali o ad altri contenuti osceni. |
| Insulti | Commento offensivo, provocatorio o negativo verso una persona o un gruppo di persone. |
| Linguaggio volgare | Linguaggio osceno o volgare, come parolacce. |
| Morte, danni e tragedie | Morti umane, tragedie, incidenti, disastri e autolesionismo. |
| Armi e armi da fuoco | Contenuti che menzionano coltelli, pistole, armi per uso personale e accessori come munizioni, fondine e così via. |
| Sicurezza pubblica | Servizi e organizzazioni che forniscono assistenza e garantiscono la sicurezza pubblica. |
| Salute | Salute umana, tra cui: Condizioni di salute, malattie e disturbi Terapie mediche, farmaci, vaccinazioni, pratiche mediche e risorse per la guarigione, inclusi i gruppi di supporto. |
| Credo e religione | Sistemi di credenze che trattano la possibilità di leggi ed esseri soprannaturali; religione, fede, credenze, pratiche spirituali, chiese e luoghi di culto. Sono incluse l'astrologia e l'occulto. |
| Sostanze stupefacenti illegali | Droghe per uso ricreativo e illegali; oggetti e accessori per droghe, coltivazione di droghe, negozi di articoli per fumatori e così via. Sono inclusi l'uso medicinale di droghe tipicamente usate a scopo ricreativo (ad es. marijuana). |
| Guerre e conflitti | Guerre, conflitti militari e gravi conflitti fisici che coinvolgono un gran numero di persone. Sono incluse le discussioni sui servizi militari, anche se non direttamente correlati a una guerra o a un conflitto. |
| Finanza | Servizi finanziari per consumatori e aziende, come servizi bancari, prestiti, credito, investimenti e assicurazioni. |
| Politica | Notizie e media politici; discussioni su politica sociale, governativa e pubblica. |
| Legale | Contenuti relativi alla legge, inclusi studi legali, informazioni legali, materiali legali principali, servizi legali, pubblicazioni e tecnologia legali, testimoni esperti, consulenti per le cause legali e altri fornitori di servizi legali. |
Punteggi di affidabilità degli attributi di sicurezza
A ogni attributo di sicurezza viene assegnato un punteggio di affidabilità tra 0,00 e 1,00 che riflette la probabilità che l'input o la risposta appartengano a una determinata categoria.
Risposta di esempio
{
"moderationCategories": [
{
"name": "Toxic",
"confidence": 0.10
},
{
"name": "Insult",
"confidence": 0.12
},
{
"name": "Profanity",
"confidence": 0.07
},
{
"name": "Derogatory",
"confidence": 0.04
},
{
"name": "Sexual",
"confidence": 0.00
},
{
"name": "Death, Harm & Tragedy",
"confidence": 0.00
},
{
"name": "Violent",
"confidence": 0.00
},
{
"name": "Firearms & Weapons",
"confidence": 0.00
},
{
"name": "Public Safety",
"confidence": 0.01
},
{
"name": "Health",
"confidence": 0.01
},
{
"name": "Religion & Belief",
"confidence": 0.00
},
{
"name": "Illicit Drugs",
"confidence": 0.01
},
{
"name": "War & Conflict",
"confidence": 0.02
},
{
"name": "Politics",
"confidence": 0.01
},
{
"name": "Finance",
"confidence": 0.00
},
{
"name": "Legal",
"confidence": 0.00
}
]
}
Testare le soglie di confidenza
Puoi testare i filtri di sicurezza di Google e definire soglie di affidabilità adatte per la tua attività. Utilizzando queste soglie, puoi adottare misure complete per rilevare i contenuti che violano le norme di utilizzo o i Termini di servizio di Google e adottare le misure del caso.
I punteggi di confidenza sono solo previsioni. Non dovresti fare affidamento sui punteggi per affidabilità o precisione. Google non è responsabile dell'interpretazione o dell'utilizzo di questi punteggi per le decisioni aziendali.
Differenza tra probabilità e gravità
I punteggi di affidabilità indicano che i contenuti appartengono alla categoria specificata e non alla gravità. Questo è importante da considerare perché alcuni contenuti possono avere una bassa probabilità di essere non sicuri, anche se la gravità del danno potrebbe essere comunque alta. Ad esempio, confrontando le seguenti frasi:
- Il robot mi ha dato un pugno.
- Il robot mi ha tagliato.
La frase 1 potrebbe avere una probabilità maggiore di non essere sicura, ma potresti considerare la frase 2 di gravità superiore in termini di violenza.
Pertanto, è importante testare attentamente e valutare quale sia il livello di blocco appropriato per i tuoi casi d'uso, minimizzando al contempo i danni agli utenti finali.
Supporto delle lingue
| Lingua | ISO-639-1 | Assistenza |
|---|---|---|
| Inglese | es | sì |
| Spagnolo | es | sì |
| Portoghese | pt | sì |
| Francese | fr | sì |
| Italiano | che li ricevano. | sì |
| Tedesco | de | sì |
| Cinese | zh | sì |
| Giapponese | ja | sì |
| Coreano | ko | sì |
| Olandese | nl | limitato |
| Russo | ru | limitato |
| Hindi | ciao | limitato |
| Indonesiano | ID | limitato |
| Arabo | ar | limitato |
Come moderare il testo
Questa sezione mostra come moderare il testo in un documento. Devi inviare una richiesta separata per ogni documento.
Ecco un esempio di moderazione del testo fornito sotto forma di stringa:
Protocollo
Per moderare i contenuti di un documento, invia una richiesta POST al metodo REST
documents:moderateText
e fornisci il corpo della richiesta appropriato, come mostrato nell'esempio seguente.
L'esempio utilizza il comando gcloud auth application-default print-access-token
per ottenere un token di accesso per un account di servizio configurato per il
progetto utilizzando gcloud CLI della Google Cloud Platform.
Per istruzioni sull'installazione della gcloud CLI e sulla configurazione di un progetto con un account di servizio, consulta la guida rapida.
curl -X POST \ -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \ -H "Content-Type: application/json; charset=utf-8" \ --data "{ 'document':{ 'type':'PLAIN_TEXT', 'content':'Shut up!' } }" "https://language.googleapis.com/v1/documents:moderateText"
Moderare il testo da Cloud Storage
Ecco un esempio di moderazione del testo archiviato in un file di testo su Cloud Storage:
Protocollo
Per moderare il testo di un documento archiviato in Cloud Storage,
esegui una richiesta POST al metodo REST
documents:moderateText
e fornisci il corpo della richiesta appropriato con il percorso del documento
come mostrato nell'esempio seguente.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ https://language.googleapis.com/v1/documents:moderateText -d "{ 'document':{ 'type':'PLAIN_TEXT', 'gcsContentUri':'gs://<bucket-name>/<object-name>' } }"