Moderazione del testo

La moderazione del testo analizza un documento in base a un elenco di attributi di sicurezza, che includono "categorie dannose" e argomenti che potrebbero essere considerati sensibili. Per moderare il testo in un documento, chiama il metodo moderateText.

Puoi trovare un elenco completo delle categorie restituite per il metodo moderateText qui:

Attributo sicurezza Description
Tossico Contenuti scurrili, irrispettosi o irragionevoli.
Contenuti dispregiativi Commenti negativi o dannosi che hanno come target l'identità e/o attributi protetti.
Violento Descrive scenari che raffigurano violenza contro un individuo o un gruppo oppure descrizioni generali di spargimenti di sangue.
Di natura sessuale Contiene riferimenti ad atti sessuali o altri contenuti osceni.
Insulti Commento offensivo, provocatorio o negativo verso una persona o un gruppo di persone.
Linguaggio volgare Linguaggio osceno o volgare, come parolacce.
Morte, danni e tragedie Morti, tragedie, incidenti, disastri e autolesionismo umani.
Armi e armi da fuoco Contenuti che menzionano coltelli, pistole, armi personali e accessori come munizioni, fondine e così via
Sicurezza pubblica Servizi e organizzazioni che forniscono assistenza e garantiscono la sicurezza pubblica.
Integrità Salute umana, tra cui: Condizioni di salute, malattie e disturbi Terapie mediche, farmaci, vaccinazioni, pratiche mediche e risorse per la guarigione, inclusi gruppi di supporto.
Credo e religione Sistemi di credenze che si occupano della possibilità di leggi ed esseri soprannaturali: religione, fede, credenze, pratiche spirituali, chiese e luoghi di culto. Include l'astrologia e l'occulto.
Sostanze stupefacenti illegali Sostanze stupefacenti e illecite per uso ricreativo, coltivazione e accessori correlati, negozi e così via. Include l'uso medico di sostanze stupefacenti generalmente usate a scopo ricreativo (ad es. marijuana).
Guerre e conflitti Guerre, conflitti militari e gravi conflitti fisici che coinvolgono un gran numero di persone. Include discussioni sui servizi militari, anche se non direttamente correlate a guerre o conflitti.
Finanza Servizi finanziari per consumatori e aziende, come servizi bancari, prestiti, crediti, investimenti e assicurazioni.
Politica Notizie e media politici; discussioni su politica sociale, governativa e pubblica.
Team legale Contenuti di natura legale, tra cui studi legali, informazioni legali, materiali legali principali, servizi paralegali, pubblicazioni e tecnologie legali, testimoni esperti, consulenti per controversie e altri fornitori di servizi legali.

Punteggi di affidabilità dell'attributo di sicurezza

A ogni attributo di sicurezza è associato un punteggio di affidabilità compreso tra 0,00 e 1,00, che riflette la probabilità dell'input o della risposta appartenente a una determinata categoria.

Esempio di risposta

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

Testa le soglie di affidabilità

Puoi testare i filtri di sicurezza di Google e definire le soglie di affidabilità giuste per la tua attività. Utilizzando queste soglie, puoi adottare misure complete per rilevare i contenuti che violano le norme di utilizzo o i Termini di servizio di Google e intraprendere le azioni appropriate.

I punteggi di affidabilità sono solo previsioni. Non dovresti dipendere dai punteggi per l'affidabilità o la precisione. Google non è responsabile di interpretare o utilizzare questi punteggi per le decisioni aziendali.

Differenza tra probabilità e gravità

I punteggi di affidabilità indicano che i contenuti appartengono alla categoria specificata e non alla gravità. È importante considerare questo aspetto perché alcuni contenuti possono avere poche probabilità di non essere sicuri anche se la gravità del danno potrebbe essere ancora elevata. Ad esempio, confrontando le frasi:

  1. Il robot mi ha dato un pugno.
  2. Il robot mi ha tagliato fuori.

La frase 1 potrebbe causare una maggiore probabilità di non essere sicura, ma potresti considerare la frase 2 con una gravità maggiore in termini di violenza.

Pertanto, è importante testare e valutare attentamente il livello di blocco appropriato per i tuoi casi d'uso, riducendo al minimo i danni per gli utenti finali.

Supporto di diverse lingue

Lingua ISO-639-1 Assistenza
Inglese es sì
Spagnolo es sì
Portoghese pt sì
Francese fr sì
Italiano it sì
Tedesco de sì
Cinese zh sì
Giapponese ja sì
Coreano ko sì
Olandese nl limitato
Russo ru limitato
Hindi ciao limitato
Indonesiano id limitato
Arabo ar limitato

Come moderare il testo

Questa sezione illustra come moderare il testo in un documento. Devi inviare una richiesta distinta per ciascun documento.

Ecco un esempio di moderazione di un testo fornito come stringa:

Protocollo

Per moderare i contenuti di un documento, effettua una richiesta POST al metodo REST documents:moderateText e fornisci il corpo della richiesta appropriato, come mostrato nell'esempio seguente.

L'esempio utilizza il comando gcloud auth application-default print-access-token per ottenere un token di accesso per un account di servizio configurato per il progetto utilizzando gcloud CLI in Google Cloud Platform. Per istruzioni sull'installazione di gcloud CLI, sulla configurazione di un progetto con un account di servizio, consulta la guida rapida.

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

Moderazione del testo da Cloud Storage

Ecco un esempio di moderazione di testo archiviato in un file di testo su Cloud Storage:

Protocollo

Per moderare il testo di un documento archiviato in Cloud Storage, effettua una richiesta POST al metodo REST documents:moderateText e fornisci il corpo della richiesta appropriato con il percorso del documento, come mostrato nell'esempio seguente.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"