Text moderieren

Bei der Textmoderation wird ein Dokument anhand einer Liste von Sicherheitsattributen analysiert, die „schädliche Kategorien“ und Themen enthalten, die als sensibel eingestuft werden können. Rufen Sie zum Moderieren des Texts in einem Dokument die Methode moderateText auf.

Eine vollständige Liste der Kategorien, die für die Methode moderateText zurückgegeben werden, finden Sie hier:

Sicherheitsattribut	Beschreibung
Schädlich	Unhöfliche, respektlose oder unangemessene Inhalte.
Hassrede	Negative oder schädliche Kommentare, die auf Identität und/oder geschützte Merkmale ausgerichtet sind
Gewalt	Beschreibt Szenarien, in denen Gewalt gegen eine Person oder Gruppe dargestellt wird, oder allgemein blutrünstige Inhalte.
Sexuelle Inhalte	Enthält Verweise auf sexuelle Handlungen oder andere vulgäre Inhalte
Beleidigung	Beleidigende, aufhetzende oder negative, an eine Person oder eine Gruppe an Personen gerichtete Kommentare.
Vulgäre Sprache	Obszöne oder vulgäre Sprache, z. B. Fluchen.
Tod, Schäden und Katastrophen	Menschliche Todesfälle, Katastrophen, Unfälle, Katastrophen und selbst zugefügte Schäden.
Waffen	Inhalte, die Messer, Gewehre, Personenwaffen und Zubehör wie Munition, Holster usw. erwähnen.
Öffentliche Sicherheit	Dienstleistungen und Organisationen, die Unterstützung bieten und der öffentlichen Sicherheit dienen.
Gesundheit	Menschliche Gesundheit, darunter: Erkrankungen, Krankheiten und Störungen Medizinische Therapien, Medikamente, Impfungen, medizinische Anwendungen und Ressourcen zur Heilung, u. a. Hilfsgruppen
Religion und Glauben	Glaubenssysteme, die sich mit der Möglichkeit übernatürlicher Gesetze und Wesen befassen; Religion, Glauben, spirituelle Praktiken, Kirchen und Orte der Götterverehrung. Umfasst Astrologie und das Okkulte.
Unzulässige Arzneimittel	Freizeit- und illegale Drogen; relevante Paraphernalia und Drogenanbau, Headshops usw. sowie medizinische Verwendung von Medikamenten, die normalerweise für Freizeitzwecke konsumiert werden (z.B. Marjujuana).
Krieg und Konflikte	Kriege, militärische Konflikte und schwerwiegende physische Konfrontationen großer Menschenmengen. Umfasst die Diskussion von Militärdiensten, auch wenn sie in keinem direkten Zusammenhang mit einem Krieg oder Konflikt stehen.
Finanzen	Finanzdienstleistungen für Nutzer und Unternehmen, z. B. Bankwesen, Darlehen, Kredite, Investitionen und Versicherungen.
Politik	Politische Nachrichten und Medien; Diskussionen über soziale, staatliche und öffentliche Richtlinien.
Recht	Rechtsbezogene Inhalte, z. B. Strafverfolgungsbehörden, Rechtsinformationen, primäre Rechtsmaterialien, paralegale Rechtsdienstleistungen, juristische Veröffentlichungen und -technologien, Expertenzeugen, Rechtsbeistände und andere Rechtsdienstleister.

Konfidenzbewertungen für Sicherheitsattribute

Jedem Sicherheitsattribut ist ein Konfidenzwert zwischen 0,00 und 1,00 zugeordnet. Dieser Wert gibt die Wahrscheinlichkeit an, mit der eine Eingabe oder Antwort zu einer bestimmten Kategorie gehört.

Beispielantwort

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

Konfidenzschwellenwerte testen

Sie können die Sicherheitsfilter von Google testen und für Ihr Unternehmen geeignete Konfidenzgrenzwerte definieren. Über diese Grenzwerte können Sie umfassende Maßnahmen ergreifen, um Inhalte zu erkennen, die gegen die Nutzungsrichtlinien oder Nutzungsbedingungen von Google verstoßen, und entsprechende Maßnahmen zu ergreifen.

Konfidenzwerte sind nur Vorhersagen. Sie sollten diese Werte nicht als absolut zuverlässig oder genau ansehen. Google ist nicht dafür verantwortlich, diese Werte für Geschäftsentscheidungen zu interpretieren oder zu verwenden.

Unterschied zwischen Wahrscheinlichkeit und Schweregrad

Die Konfidenzwerte geben an, dass die Inhalte zur angegebenen Kategorie gehören, nicht zum Schweregrad. Dies ist wichtig, da einige Inhalte mit geringer Wahrscheinlichkeit unsicher sind, obwohl der Schweregrad des Schadens hoch sein kann. Vergleichen Sie beispielsweise folgende Sätze:

1. Der Roboter hat mich geboxt.
2. Der Roboter hat mich in Stücke geschnitten.

Satz 1 kann eine höhere Wahrscheinlichkeit für unsichere Ergebnisse verursachen, aber Sie können Satz 2 in Bezug auf Gewalt einen höheren Schweregrad zuweisen.

Daher ist es wichtig, dass Sie Tests sorgfältig durchführen und überlegen, welches Maß an Sicherheitsblockaden für Ihre Anwendungsfälle erforderlich ist, während gleichzeitig der Schaden für Endnutzer minimiert wird.

Sprachunterstützung

Sprache	ISO-639-1	Support
Englisch	es	Ja
Spanisch	es	Ja
Portugiesisch	pt	Ja
Französisch	fr	Ja
Italienisch	it	Ja
Deutsch	de	Ja
Chinesisch	zh	Ja
Japanisch	ja	Ja
Koreanisch	ko	Ja
Niederländisch	nl	begrenzt
Russisch	ru	begrenzt
Hindi	hi	begrenzt
Indonesisch	id	begrenzt
Arabisch	ar	begrenzt

Hinweis: Die API hat keine strikte Einschränkung der Sprachunterstützung. Daher werden für nicht aufgeführte Sprachen weiterhin Vorhersagen zurückgegeben. Wir können die Qualität der Vorschläge für nicht aufgeführte Sprachen nicht überprüfen. Bei „eingeschränkter“ Unterstützung können die Ergebnisse für einige Attribute je nach Texttyp (z. B. Webseite, Chatnachricht) variieren. In jedem Fall empfehlen wir eine gründliche Bewertung Ihres Anwendungsfalls.

Text moderieren

In diesem Abschnitt wird gezeigt, wie Sie Text in einem Dokument moderieren. Für jedes Dokument muss eine separate Anfrage gesendet werden.

Hier ein Beispiel für die Moderation von Text in Form eines Strings:

Protokoll

Zum Moderieren von Inhalten in einem Dokument senden Sie eine POST-Anfrage an die REST-Methode documents:moderateText und geben den entsprechenden Anfragetext an, wie im folgenden Beispiel gezeigt.

Im Beispiel wird mithilfe des Befehls gcloud auth application-default print-access-token ein Zugriffstoken für ein Dienstkonto abgerufen, das für das Projekt mit dem gcloud CLI der Google Cloud Platform eingerichtet wurde. Eine Anleitung zum Installieren des gcloud-CLI und zum Einrichten eines Projekts mit einem Dienstkonto finden Sie in der Kurzanleitung.

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

Text aus Cloud Storage moderieren

Hier ist ein Beispiel für die Moderation von Text, der in einer Textdatei in Cloud Storage gespeichert ist:

Protokoll

Zum Moderieren von Text in einem Dokument, das in Cloud Storage gespeichert ist, senden Sie eine POST-Anfrage an die REST-Methode documents:moderateText und geben dabei den entsprechenden Anfragetext mit dem Pfad zum Dokument an. Beispiel:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"