La moderazione del testo analizza un documento in base a un elenco di
attributi di sicurezza, che includono "categorie dannose" e argomenti che potrebbero essere considerati sensibili. Per moderare
il testo in un documento, chiama il metodo moderateText
.
Puoi trovare un elenco completo delle categorie restituite per il metodo moderateText
qui:
Attributo sicurezza | Description |
---|---|
Tossico | Contenuti scurrili, irrispettosi o irragionevoli. |
Contenuti dispregiativi | Commenti negativi o dannosi che hanno come target l'identità e/o attributi protetti. |
Violento | Descrive scenari che raffigurano violenza contro un individuo o un gruppo oppure descrizioni generali di spargimenti di sangue. |
Di natura sessuale | Contiene riferimenti ad atti sessuali o altri contenuti osceni. |
Insulti | Commento offensivo, provocatorio o negativo verso una persona o un gruppo di persone. |
Linguaggio volgare | Linguaggio osceno o volgare, come parolacce. |
Morte, danni e tragedie | Morti, tragedie, incidenti, disastri e autolesionismo umani. |
Armi e armi da fuoco | Contenuti che menzionano coltelli, pistole, armi personali e accessori come munizioni, fondine e così via |
Sicurezza pubblica | Servizi e organizzazioni che forniscono assistenza e garantiscono la sicurezza pubblica. |
Integrità | Salute umana, tra cui: Condizioni di salute, malattie e disturbi Terapie mediche, farmaci, vaccinazioni, pratiche mediche e risorse per la guarigione, inclusi gruppi di supporto. |
Credo e religione | Sistemi di credenze che si occupano della possibilità di leggi ed esseri soprannaturali: religione, fede, credenze, pratiche spirituali, chiese e luoghi di culto. Include l'astrologia e l'occulto. |
Sostanze stupefacenti illegali | Sostanze stupefacenti e illecite per uso ricreativo, coltivazione e accessori correlati, negozi e così via. Include l'uso medico di sostanze stupefacenti generalmente usate a scopo ricreativo (ad es. marijuana). |
Guerre e conflitti | Guerre, conflitti militari e gravi conflitti fisici che coinvolgono un gran numero di persone. Include discussioni sui servizi militari, anche se non direttamente correlate a guerre o conflitti. |
Finanza | Servizi finanziari per consumatori e aziende, come servizi bancari, prestiti, crediti, investimenti e assicurazioni. |
Politica | Notizie e media politici; discussioni su politica sociale, governativa e pubblica. |
Team legale | Contenuti di natura legale, tra cui studi legali, informazioni legali, materiali legali principali, servizi paralegali, pubblicazioni e tecnologie legali, testimoni esperti, consulenti per controversie e altri fornitori di servizi legali. |
Punteggi di affidabilità dell'attributo di sicurezza
A ogni attributo di sicurezza è associato un punteggio di affidabilità compreso tra 0,00 e 1,00, che riflette la probabilità dell'input o della risposta appartenente a una determinata categoria.
Esempio di risposta
{
"moderationCategories": [
{
"name": "Toxic",
"confidence": 0.10
},
{
"name": "Insult",
"confidence": 0.12
},
{
"name": "Profanity",
"confidence": 0.07
},
{
"name": "Derogatory",
"confidence": 0.04
},
{
"name": "Sexual",
"confidence": 0.00
},
{
"name": "Death, Harm & Tragedy",
"confidence": 0.00
},
{
"name": "Violent",
"confidence": 0.00
},
{
"name": "Firearms & Weapons",
"confidence": 0.00
},
{
"name": "Public Safety",
"confidence": 0.01
},
{
"name": "Health",
"confidence": 0.01
},
{
"name": "Religion & Belief",
"confidence": 0.00
},
{
"name": "Illicit Drugs",
"confidence": 0.01
},
{
"name": "War & Conflict",
"confidence": 0.02
},
{
"name": "Politics",
"confidence": 0.01
},
{
"name": "Finance",
"confidence": 0.00
},
{
"name": "Legal",
"confidence": 0.00
}
]
}
Testa le soglie di affidabilità
Puoi testare i filtri di sicurezza di Google e definire le soglie di affidabilità giuste per la tua attività. Utilizzando queste soglie, puoi adottare misure complete per rilevare i contenuti che violano le norme di utilizzo o i Termini di servizio di Google e intraprendere le azioni appropriate.
I punteggi di affidabilità sono solo previsioni. Non dovresti dipendere dai punteggi per l'affidabilità o la precisione. Google non è responsabile di interpretare o utilizzare questi punteggi per le decisioni aziendali.
Differenza tra probabilità e gravità
I punteggi di affidabilità indicano che i contenuti appartengono alla categoria specificata e non alla gravità. È importante considerare questo aspetto perché alcuni contenuti possono avere poche probabilità di non essere sicuri anche se la gravità del danno potrebbe essere ancora elevata. Ad esempio, confrontando le frasi:
- Il robot mi ha dato un pugno.
- Il robot mi ha tagliato fuori.
La frase 1 potrebbe causare una maggiore probabilità di non essere sicura, ma potresti considerare la frase 2 con una gravità maggiore in termini di violenza.
Pertanto, è importante testare e valutare attentamente il livello di blocco appropriato per i tuoi casi d'uso, riducendo al minimo i danni per gli utenti finali.
Supporto di diverse lingue
Lingua | ISO-639-1 | Assistenza |
---|---|---|
Inglese | es | sì |
Spagnolo | es | sì |
Portoghese | pt | sì |
Francese | fr | sì |
Italiano | it | sì |
Tedesco | de | sì |
Cinese | zh | sì |
Giapponese | ja | sì |
Coreano | ko | sì |
Olandese | nl | limitato |
Russo | ru | limitato |
Hindi | ciao | limitato |
Indonesiano | id | limitato |
Arabo | ar | limitato |
Come moderare il testo
Questa sezione illustra come moderare il testo in un documento. Devi inviare una richiesta distinta per ciascun documento.
Ecco un esempio di moderazione di un testo fornito come stringa:
Protocollo
Per moderare i contenuti di un documento, effettua una richiesta POST
al metodo REST documents:moderateText
e fornisci il corpo della richiesta appropriato, come mostrato nell'esempio seguente.
L'esempio utilizza il comando gcloud auth application-default print-access-token
per ottenere un token di accesso per un account di servizio configurato per il progetto utilizzando gcloud CLI in Google Cloud Platform.
Per istruzioni sull'installazione di gcloud CLI, sulla configurazione di un progetto con un account di servizio, consulta la guida rapida.
curl -X POST \ -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \ -H "Content-Type: application/json; charset=utf-8" \ --data "{ 'document':{ 'type':'PLAIN_TEXT', 'content':'Shut up!' } }" "https://language.googleapis.com/v1/documents:moderateText"
Moderazione del testo da Cloud Storage
Ecco un esempio di moderazione di testo archiviato in un file di testo su Cloud Storage:
Protocollo
Per moderare il testo di un documento archiviato in Cloud Storage, effettua una richiesta POST
al metodo REST documents:moderateText
e fornisci il corpo della richiesta appropriato con il percorso del documento, come mostrato nell'esempio seguente.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ https://language.googleapis.com/v1/documents:moderateText -d "{ 'document':{ 'type':'PLAIN_TEXT', 'gcsContentUri':'gs://<bucket-name>/<object-name>' } }"