Text moderieren

Bei der Textmoderation wird ein Dokument anhand einer Liste von Sicherheitsattributen analysiert, darunter „schädliche Kategorien“ und Themen, die als sensibel eingestuft werden können. Rufen Sie zum Moderieren von Text in einem Dokument die Methode moderateText auf.

Eine vollständige Liste der Kategorien, die für die Methode moderateText zurückgegeben werden, finden Sie hier:

Sicherheitsattribut Beschreibung
Unangemessen Inhalte, die unhöflich, respektlos oder unangemessen sind.
Hassreden Negative oder schädliche Kommentare, die auf Identität und/oder geschützte Merkmale abzielen.
Gewalttätig Beschreibt Szenarien, in denen Gewalt gegen eine Person oder Gruppe dargestellt wird, oder allgemein blutrünstige Inhalte.
Sexuelle Inhalte Verweise auf sexuelle Handlungen oder andere anzügliche Inhalte.
Beleidigung Beleidigende, aufhetzende oder negative, an eine Person oder eine Gruppe an Personen gerichtete Kommentare.
Vulgäre Sprache Obszöne oder vulgäre Sprache wie Schimpfwörter.
Tod, Schäden und Katastrophen Menschliche Todesfälle, Katastrophen, Unfälle, Katastrophen und selbst zugefügte Schäden.
Waffen Inhalte, in denen Messer, Pistolen, Handwaffen und Zubehör wie Munition, Holster usw. erwähnt werden
Öffentliche Sicherheit Dienstleistungen und Organisationen, die Unterstützung bieten und der öffentlichen Sicherheit dienen.
Zustand Menschliche Gesundheit, einschließlich: Krankheitserkrankungen und -störungen Medizintherapien, Medikamente, Impfungen, medizinische Praktiken und Heilungsressourcen, einschließlich Selbsthilfegruppen.
Religion und Glauben Glaubenssysteme, die sich mit der Möglichkeit von übernatürlichen Gesetzen und Wesen befassen; Religion, Glaube, Glaube, spirituelle Praxis, Kirchen und Andachtsstätten. Umfasst Astrologie und das Okkulte.
Unzulässige Arzneimittel Drogen, Drogenzubehör und -kultivierung, Headshops usw. Einschließlich medizinischer Verwendung von Drogen (z.B. Marihuana).
Krieg und Konflikte Kriege, militärische Konflikte und größere körperliche Konflikte mit einer großen Anzahl von Menschen. Umfasst Diskussionen über militärische Dienste, auch wenn diese nicht direkt mit einem Krieg oder Konflikt in Verbindung stehen.
Finanzen Finanzdienstleistungen für Verbraucher und Unternehmen, z. B. Bankgeschäfte, Kredite, Kredite, Investitionen und Versicherungen
Politik Politische Nachrichten und Medien; Diskussionen über gesellschafts- bzw. regierungspolitische Themen oder die öffentliche Ordnung.
Recht Rechtsbezogene Inhalte, z. B. Anwaltskanzleien, Rechtsinformationen, primäre Rechtsmaterialien, Dienstleistungen im Bereich Rechtsanwaltsrecht, Rechtspublikationen und -technologie, Sachverständige, Prozessberater und andere Dienstleister.

Konfidenzwerte für Sicherheitsattribute

Jedem Sicherheitsattribut ist ein Konfidenzwert zwischen 0,00 und 1,00 zugeordnet, der die Wahrscheinlichkeit der Eingabe oder Antwort angibt, die zu einer bestimmten Kategorie gehört.

Beispielantwort

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

Konfidenzgrenzwerte testen

Sie können die Sicherheitsfilter von Google testen und für Ihr Unternehmen geeignete Konfidenzgrenzwerte definieren. Über diese Grenzwerte können Sie umfassende Maßnahmen ergreifen, um Inhalte zu erkennen, die gegen die Nutzungsrichtlinien oder Nutzungsbedingungen von Google verstoßen, und entsprechende Maßnahmen zu ergreifen.

Die Konfidenzwerte sind nur Vorhersagen. Sie sollten sich nicht auf die Bewertungen für Zuverlässigkeit oder Genauigkeit verlassen. Google ist nicht dafür verantwortlich, diese Werte für Geschäftsentscheidungen zu interpretieren oder zu verwenden.

Unterschied zwischen Wahrscheinlichkeit und Schweregrad

Die Konfidenzwerte geben an, dass der Inhalt zur angegebenen Kategorie gehört und nicht zum Schweregrad. Dies ist wichtig, da einige Inhalte mit geringer Wahrscheinlichkeit unsicher sind, obwohl der Schweregrad des Schadens hoch sein kann. Vergleichen Sie beispielsweise folgende Sätze:

  1. Der Roboter hat mich geboxt.
  2. Der Roboter hat mich in Stücke geschnitten.

Satz 1 kann eine höhere Wahrscheinlichkeit für unsichere Ergebnisse verursachen, aber Sie können Satz 2 in Bezug auf Gewalt einen höheren Schweregrad zuweisen.

Daher ist es wichtig, dass Sie sorgfältig testen und überlegen, welche Blockierung für Ihre Anwendungsfälle geeignet ist. Gleichzeitig müssen Sie den Schaden für Endnutzer so gering wie möglich halten.

Sprachunterstützung

Sprache ISO-639-1 Support
Englisch es yes
Spanisch es yes
Portugiesisch pt yes
Französisch fr yes
Italienisch it yes
Deutsch de yes
Chinesisch zh yes
Japanisch ja yes
Koreanisch ko yes
Niederländisch nl eingeschränkt
Russisch ru eingeschränkt
Hindi hi eingeschränkt
Indonesisch id eingeschränkt
Arabisch ar eingeschränkt

Text moderieren

In diesem Abschnitt wird gezeigt, wie Sie Text in einem Dokument moderieren. Sie müssen für jedes Dokument einen separaten Antrag einreichen.

Hier ist ein Beispiel für die Moderation von Text, der als String bereitgestellt wird:

Protokoll

Zum Moderieren von Inhalten in einem Dokument senden Sie eine POST-Anfrage an die REST-Methode documents:moderateText und geben den entsprechenden Anfragetext an, wie im folgenden Beispiel gezeigt.

Im Beispiel wird mithilfe des Befehls gcloud auth application-default print-access-token ein Zugriffstoken für ein Dienstkonto abgerufen, das für das Projekt mit dem gcloud CLI der Google Cloud Platform eingerichtet wurde. Eine Anleitung zum Installieren des gcloud-CLI und zum Einrichten eines Projekts mit einem Dienstkonto finden Sie in der Kurzanleitung.

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

Text aus Cloud Storage moderieren

Hier ist ein Beispiel für das Moderieren von Text, der in einer Textdatei in Cloud Storage gespeichert ist:

Protokoll

Zum Moderieren von Text in einem Dokument, das in Cloud Storage gespeichert ist, senden Sie eine POST-Anfrage an die REST-Methode documents:moderateText und geben dabei den entsprechenden Anfragetext mit dem Pfad zum Dokument an. Beispiel:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"