Testo moderato

La moderazione del testo analizza un documento in base a un elenco di attributi di sicurezza, tra cui "categorie dannose" e argomenti potenzialmente considerati sensibili. Per moderare il testo di un documento, chiama il metodo moderateText.

Qui è disponibile un elenco completo delle categorie restituite per il metodo moderateText:

Attributo sicurezza	Descrizione
Contenuti tossici	Contenuti maleducati, irrispettosi o irragionevoli.
Contenuti dispregiativi	Commenti negativi o dannosi rivolti all'identità e/o agli attributi protetti.
Contenuti violenti	Descrive scenari che raffigurano violenza contro un individuo o un gruppo oppure descrizioni generali di scene di violenza.
Contenuti di natura sessuale	Contiene riferimenti ad atti sessuali o ad altri contenuti osceni.
Insulti	Commento offensivo, provocatorio o negativo verso una persona o un gruppo di persone.
Linguaggio volgare	Linguaggio osceno o volgare, come parolacce.
Morte, danni e tragedie	Morti umane, tragedie, incidenti, disastri e autolesionismo.
Armi e armi da fuoco	Contenuti che menzionano coltelli, pistole, armi per uso personale e accessori come munizioni, fondine e così via.
Sicurezza pubblica	Servizi e organizzazioni che forniscono assistenza e garantiscono la sicurezza pubblica.
Salute	Salute umana, tra cui: patologie, malattie e disturbi terapie mediche, farmaci, vaccinazioni, pratiche mediche e risorse per la guarigione, inclusi i gruppi di supporto.
Credo e religione	Sistemi di credenze che trattano la possibilità di leggi ed esseri soprannaturali; religione, fede, credenze, pratiche spirituali, chiese e luoghi di culto. Sono incluse l'astrologia e l'occulto.
Sostanze stupefacenti illegali	Droghe per uso ricreativo e illegali; oggetti e accessori per droghe, coltivazione di droghe, negozi di articoli per fumatori e così via. Sono inclusi l'uso medicinale di droghe tipicamente usate a scopo ricreativo (ad es. marijuana).
Guerre e conflitti	Guerre, conflitti militari e gravi conflitti fisici che coinvolgono un gran numero di persone. Sono incluse le discussioni sui servizi militari, anche se non direttamente correlati a una guerra o a un conflitto.
Finanza	Servizi finanziari per consumatori e aziende, come servizi bancari, prestiti, credito, investimenti e assicurazioni.
Politica	Notizie e media politici; discussioni su politica sociale, governativa e pubblica.
Legale	Contenuti relativi alla legge, inclusi studi legali, informazioni legali, materiali legali principali, servizi legali, pubblicazioni e tecnologia legali, testimoni esperti, consulenti per le cause legali e altri fornitori di servizi legali.

Punteggi di affidabilità degli attributi di sicurezza

A ogni attributo di sicurezza viene assegnato un punteggio di affidabilità tra 0,00 e 1,00 che riflette la probabilità che l'input o la risposta appartengano a una determinata categoria.

Risposta di esempio

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

Testare le soglie di confidenza

Puoi testare i filtri di sicurezza di Google e definire le soglie di affidabilità adatte per la tua attività. Utilizzando queste soglie, puoi adottare misure complete per rilevare i contenuti che violano le norme di utilizzo o i Termini di servizio di Google e adottare le misure del caso.

I punteggi di confidenza sono solo previsioni. Non dovresti fare affidamento sui punteggi per affidabilità o precisione. Google non è responsabile dell'interpretazione o dell'utilizzo di questi punteggi per le decisioni aziendali.

Differenza tra probabilità e gravità

I punteggi di affidabilità indicano che i contenuti appartengono alla categoria specificata e non alla gravità. Questo è importante da considerare perché alcuni contenuti possono avere una bassa probabilità di essere non sicuri, anche se la gravità del danno potrebbe essere comunque alta. Ad esempio, confrontando le seguenti frasi:

1. Il robot mi ha dato un pugno.
2. Il robot mi ha tagliato.

La frase 1 potrebbe avere una probabilità maggiore di non essere sicura, ma potresti considerare la frase 2 di gravità superiore in termini di violenza.

Pertanto, è importante testare attentamente e valutare quale sia il livello di blocco appropriato per i tuoi casi d'uso, minimizzando al contempo i danni agli utenti finali.

Supporto delle lingue

Lingua	ISO-639-1	Assistenza
Inglese	es	sì
Spagnolo	es	sì
Portoghese	pt	sì
Francese	fr	sì
Italiano	che li ricevano.	sì
Tedesco	de	sì
Cinese	zh	sì
Giapponese	ja	sì
Coreano	ko	sì
Olandese	nl	limitato
Russo	ru	limitato
Hindi	ciao	limitato
Indonesiano	ID	limitato
Arabo	ar	limitato

Nota: l'API non ha una limitazione rigida per il supporto delle lingue, pertanto le lingue non elencate restituiranno comunque le previsioni. Non possiamo verificare la qualità delle previsioni per le lingue non elencate. Analogamente, il supporto "limitato" indica che i risultati possono variare in base al tipo di testo (ad es. pagina web, messaggio di chat e così via) per alcuni attributi. In ogni caso, ti consigliamo di eseguire una valutazione approfondita del tuo caso d'uso.

Come moderare il testo

Questa sezione mostra come moderare il testo in un documento. Devi inviare una richiesta separata per ogni documento.

Ecco un esempio di moderazione del testo fornito sotto forma di stringa:

Protocollo

Per moderare i contenuti di un documento, esegui una richiesta POST al metodo REST documents:moderateText e fornisci il corpo della richiesta appropriato, come mostrato nell'esempio seguente.

L'esempio utilizza il comando gcloud auth application-default print-access-token per ottenere un token di accesso per un account di servizio configurato per il progetto utilizzando gcloud CLI della Google Cloud Platform. Per istruzioni sull'installazione della gcloud CLI e sulla configurazione di un progetto con un account di servizio, consulta la guida rapida.

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

Moderare il testo da Cloud Storage

Ecco un esempio di moderazione del testo archiviato in un file di testo su Cloud Storage:

Protocollo

Per moderare il testo di un documento archiviato in Cloud Storage, esegui una richiesta POST al metodo REST documents:moderateText e fornisci il corpo della richiesta appropriato con il percorso del documento come mostrato nell'esempio seguente.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"