Text moderieren

Bei der Textmoderation wird ein Dokument anhand einer Liste von Sicherheitsattributen analysiert, die „schädliche Kategorien“ und Themen enthalten, die als sensibel eingestuft werden können. Rufen Sie zum Moderieren des Texts in einem Dokument die Methode moderateText auf.

Eine vollständige Liste der Kategorien, die für die Methode moderateText zurückgegeben werden, finden Sie hier:

Sicherheitsattribut	Beschreibung
Schädlich	Inhalte, die unhöflich, respektlos oder unangemessen sind
Hassrede	Negative oder schädliche Kommentare, die auf Identität und/oder geschützte Merkmale ausgerichtet sind
Gewalt	Beschreibt Szenarien, in denen Gewalt gegen eine Person oder Gruppe dargestellt wird, oder allgemein blutrünstige Inhalte.
Sexuelle Inhalte	Enthält Verweise auf sexuelle Handlungen oder andere vulgäre Inhalte
Beleidigung	Beleidigende, aufhetzende oder negative, an eine Person oder eine Gruppe an Personen gerichtete Kommentare.
Vulgäre Sprache	Obszöne oder vulgäre Sprache, z. B. Fluchen.
Tod, Schäden und Katastrophen	Menschliche Todesfälle, Katastrophen, Unfälle, Katastrophen und selbst zugefügte Schäden.
Waffen	Inhalte, die Messer, Gewehre, Personenwaffen und Zubehör wie Munition, Holster usw. erwähnen.
Öffentliche Sicherheit	Dienstleistungen und Organisationen, die Unterstützung bieten und der öffentlichen Sicherheit dienen.
Gesundheit	Menschliche Gesundheit, darunter: Erkrankungen, Krankheiten und Störungen Medizinische Therapien, Medikamente, Impfungen, medizinische Anwendungen und Ressourcen zur Heilung, u. a. Hilfsgruppen
Religion und Glauben	Glaubenssysteme, die mit der Möglichkeit übernatürlicher Gesetze und Wesen umgehen; Religion, Glaube, Glaube, spirituelle Praxis, Kirchen und Andachtsstätten. Umfasst Astrologie und das Okkulte.
Unzulässige Arzneimittel	Freizeit- und illegale Drogen; relevante Paraphernalia und Drogenanbau, Headshops usw. sowie medizinische Verwendung von Medikamenten, die normalerweise für Freizeitzwecke konsumiert werden (z. B. Marjujuana).
Krieg und Konflikte	Kriege, militärische Konflikte und schwerwiegende physische Konfrontationen großer Menschenmengen. Umfasst die Diskussion von Militärdiensten, auch wenn sie in keinem direkten Zusammenhang mit einem Krieg oder Konflikt stehen.
Finanzen	Finanzdienstleistungen für Nutzer und Unternehmen, z. B. Bankwesen, Darlehen, Kredite, Investitionen und Versicherungen.
Politik	Politische Nachrichten und Medien; Diskussionen über soziale, staatliche und öffentliche Richtlinien.
Recht	Rechtsbezogene Inhalte wie Anwaltskanzleien, rechtliche Informationen, primäre Rechtsmaterialien, juristische Dienstleistungen, juristische Veröffentlichungen und Technologien, Sachverständige, Rechtsbeistand und andere Anbieter von Rechtsdienstleistungen.

Konfidenzbewertungen für Sicherheitsattribute

Jedem Sicherheitsattribut ist ein Konfidenzwert zugeordnet zwischen 0,00 und 1,00, was die Wahrscheinlichkeit die Eingabe oder Antwort, die zu einer bestimmten Kategorie gehört.

Beispielantwort

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

Konfidenzgrenzwerte testen

Sie können die Sicherheitsfilter von Google testen und für Ihr Unternehmen geeignete Konfidenzgrenzwerte definieren. Über diese Grenzwerte können Sie umfassende Maßnahmen ergreifen, um Inhalte zu erkennen, die gegen die Nutzungsrichtlinien oder Nutzungsbedingungen von Google verstoßen, und entsprechende Maßnahmen zu ergreifen.

Konfidenzwerte sind nur Vorhersagen. Sie sollten diese Werte nicht als absolut zuverlässig oder genau ansehen. Google ist nicht dafür verantwortlich, diese Werte für Geschäftsentscheidungen zu interpretieren oder zu verwenden.

Unterschied zwischen Wahrscheinlichkeit und Schweregrad

Die Konfidenzwerte geben an, dass die Inhalte zur angegebenen Kategorie gehören, nicht zum Schweregrad. Dies ist wichtig, da einige Inhalte mit geringer Wahrscheinlichkeit unsicher sind, obwohl der Schweregrad des Schadens hoch sein kann. Vergleichen Sie beispielsweise folgende Sätze:

1. Der Roboter hat mich geboxt.
2. Der Roboter hat mich in Stücke geschnitten.

Satz 1 kann eine höhere Wahrscheinlichkeit für unsichere Ergebnisse verursachen, aber Sie können Satz 2 in Bezug auf Gewalt einen höheren Schweregrad zuweisen.

Daher ist es wichtig, dass Sie Tests sorgfältig durchführen und überlegen, welches Maß an Sicherheitsblockaden für Ihre Anwendungsfälle erforderlich ist, während gleichzeitig der Schaden für Endnutzer minimiert wird.

Sprachunterstützung

Sprache	ISO-639-1	Support
Englisch	es	Ja
Spanisch	es	Ja
Portugiesisch	pt	Ja
Französisch	fr	Ja
Italienisch	it	Ja
Deutsch	de	Ja
Chinesisch	zh	Ja
Japanisch	ja	Ja
Koreanisch	ko	Ja
Niederländisch	nl	begrenzt
Russisch	ru	eingeschränkt
Hindi	hi	begrenzt
Indonesisch	id	eingeschränkt
Arabisch	ar	eingeschränkt

Hinweis: Die API hat keine strikte Einschränkung der Sprachunterstützung. Daher werden für nicht aufgeführte Sprachen weiterhin Vorhersagen zurückgegeben. Wir können die Qualität der Vervollständigungen für nicht gelistete Sprachen nicht überprüfen. Bei „eingeschränkter“ Unterstützung können die Ergebnisse für einige Attribute je nach Texttyp (z. B. Webseite, Chatnachricht) variieren. In jedem Fall empfehlen wir eine gründliche Prüfung für Ihren Anwendungsfall.

So moderieren Sie Text

In diesem Abschnitt wird gezeigt, wie Sie Text in einem Dokument moderieren. Sie müssen für jedes Dokument einen separaten Antrag einreichen.

Hier ist ein Beispiel für die Moderation von Text als Zeichenfolge:

Protokoll

Zum Moderieren von Inhalten in einem Dokument senden Sie eine POST-Anfrage an die REST-Methode documents:moderateText und geben den entsprechenden Anfragetext an, wie im folgenden Beispiel gezeigt.

Im Beispiel wird mithilfe des Befehls gcloud auth application-default print-access-token ein Zugriffstoken für ein Dienstkonto abgerufen, das für das Projekt mit dem gcloud CLI der Google Cloud Platform eingerichtet wurde. Eine Anleitung zum Installieren des gcloud-CLI und zum Einrichten eines Projekts mit einem Dienstkonto finden Sie in der Kurzanleitung.

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

Text aus Cloud Storage moderieren

Hier ist ein Beispiel für die Moderation von Text, der in einer Textdatei in Cloud Storage gespeichert ist:

Protokoll

Zum Moderieren von Text aus einem Dokument, das in Cloud Storage gespeichert ist, POST-Anfrage an den documents:moderateText REST-Methode und geben Sie entsprechenden Anfragetext mit dem Pfad zum Dokument wie im folgenden Beispiel gezeigt.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"