Moderare il testo

La moderazione del testo analizza un documento rispetto a un elenco di gli attributi relativi alla sicurezza, che includono le "categorie dannose" e ad argomenti che possono essere considerati sensibili. Per moderare il testo di un documento, richiama il metodo moderateText.

Qui è disponibile un elenco completo delle categorie restituite per il metodo moderateText:

Attributo di sicurezza	Descrizione
Contenuti tossici	Contenuti scortesi, irrispettosi o irragionevoli.
Contenuti dispregiativi	Commenti negativi o dannosi che hanno come target l'identità e/o attributi protetti.
Contenuti violenti	Descrive gli scenari di violenza contro un individuo o un gruppo oppure descrizioni generali di spargimenti di sangue.
Contenuti di natura sessuale	Contiene riferimenti ad atti sessuali o ad altri contenuti osceni.
Insulti	Commento offensivo, provocatorio o negativo verso una persona o un gruppo di persone.
Linguaggio volgare	Linguaggio osceno o volgare come parolacce.
Morte, danni e tragedie	Morti umane, tragedie, incidenti, disastri e autolesionismo.
Armi e armi da fuoco	Contenuti che menzionano coltelli, pistole, armi personali e accessori quali munizioni, fondine e così via.
Sicurezza pubblica	Servizi e organizzazioni che forniscono assistenza e garantiscono la sicurezza pubblica.
Salute	Salute umana, tra cui: Malattie, patologie e disturbi Terapie mediche, farmaci, vaccinazioni, pratiche mediche e e le risorse per la guarigione, inclusi i gruppi di supporto.
Credo e religione	Sistemi di credenze che trattano la possibilità di leggi ed esseri soprannaturali; religione, fede, credenze, pratiche spirituali, chiese e luoghi di culto. Include l'astrologia e l'occultismo.
Sostanze stupefacenti illegali	Droghe per uso ricreativo e illegali; oggetti e accessori per droghe, coltivazione di droghe, negozi di articoli per fumatori e così via. Sono inclusi l'uso medicinale di droghe tipicamente usate a scopo ricreativo (ad es. marijuana).
Guerre e conflitti	Guerre, conflitti militari e grandi conflitti fisici che coinvolgono un gran numero di persone. Sono incluse le discussioni sui servizi militari, anche se non direttamente correlati a una guerra o a un conflitto.
Finanza	Servizi finanziari per privati e aziende, ad esempio servizi bancari, prestiti, crediti, investimenti e assicurazioni.
Politica	Notizie e media politici; discussioni su politica sociale, governativa e pubblica.
Legale	Contenuti correlati alla legge, tra cui studi legali, informazioni legali, materiali legali primari, servizi paralegali, tecnologie e pubblicazioni legali, testimoni di esperti, consulenti per controversie e altri fornitori di servizi legali.

Punteggi di affidabilità degli attributi di sicurezza

A ogni attributo sicurezza è associato un punteggio di confidenza tra 0,00 e 1,00, riflettendo la probabilità di l'input o la risposta appartenente a una determinata categoria.

Esempio di risposta

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

Testare le soglie di confidenza

Puoi testare i filtri di sicurezza di Google e definire soglie di affidabilità che più adatti alla tua attività. Utilizzando queste soglie, puoi adottare misure complete per rilevare i contenuti che violano le norme o i Termini di servizio di Google e adottare le misure del caso.

I punteggi di confidenza sono solo previsioni. Non devi dipendere i punteggi di affidabilità o accuratezza. Google non è responsabile dell'interpretazione o dell'utilizzo di questi punteggi per le decisioni aziendali.

Differenza tra probabilità e gravità

I punteggi di affidabilità indicano che i contenuti appartengono alla categoria specificata e non alla gravità. Questo è importante da considerare perché alcuni contenuti possono avere una bassa probabilità di essere non sicuri, anche se la gravità del danno potrebbe essere comunque alta. Ad esempio, confrontando le seguenti frasi:

1. Il robot mi ha dato un pugno.
2. Il robot mi ha tagliato.

La frase 1 potrebbe avere una maggiore probabilità di non essere sicura, ma potresti considerare la frase 2 di maggiore gravità in termini di violenza.

È quindi importante testare e considerare attentamente ciò che il livello di blocco appropriato è per i casi d'uso, mentre minimizzando i danni agli utenti finali.

Lingue supportate

Lingua	ISO-639-1	Assistenza
Inglese	es	sì
Spagnolo	es	sì
Portoghese	pt	sì
Francese	fr	sì
Italiano	che li ricevano.	sì
Tedesco	de	sì
Cinese	zh	sì
Giapponese	ja	sì
Coreano	ko	sì
Olandese	nl	limitato
Russo	ru	limitato
Hindi	ciao	limitato
Indonesiano	ID	limitato
Arabo	ar	limitato

Nota: l'API non ha restrizioni rigidi sul supporto delle lingue, pertanto per le lingue non in elenco verranno comunque restituite previsioni. Non possiamo verificare la qualità delle previsioni per le lingue non elencate. Analogamente, il supporto "limitato" indica che i risultati possono variare in base al tipo di testo (ad es. pagina web, messaggio di chat e così via) per alcuni attributi. In ogni caso, ti consigliamo di eseguire una valutazione approfondita del tuo caso d'uso.

Come moderare il testo

Questa sezione mostra come moderare il testo in un documento. Devi inviare una richiesta separata per ogni documento.

Ecco un esempio di moderazione del testo fornito come stringa:

Protocollo

Per moderare i contenuti di un documento, invia una richiesta POST al metodo REST documents:moderateText e fornisci il corpo della richiesta appropriato, come mostrato nell'esempio seguente.

L'esempio utilizza il comando gcloud auth application-default print-access-token per ottenere un token di accesso per un account di servizio configurato per il progetto utilizzando gcloud CLI della piattaforma Google Cloud. Per istruzioni sull'installazione di gcloud CLI, configura un progetto con un account di servizio consulta la Guida rapida.

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

Moderare il testo da Cloud Storage

Ecco un esempio di moderazione del testo archiviato in un file di testo su Cloud Storage:

Protocollo

Per moderare il testo di un documento archiviato in Cloud Storage, esegui una richiesta POST al metodo REST documents:moderateText e fornisci il corpo della richiesta appropriato con il percorso del documento come mostrato nell'esempio seguente.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"