Moderasi teks

Moderasi teks menganalisis dokumen berdasarkan daftar atribut keamanan, yang mencakup "kategori berbahaya" dan topik yang mungkin dianggap sensitif. Untuk memoderasi teks dalam dokumen, panggil metode moderateText.

Daftar lengkap kategori yang ditampilkan untuk metode moderateText dapat ditemukan di sini:

Atribut Keamanan Deskripsi
Toksik Konten yang kasar, tidak sopan, atau tidak masuk akal.
Penghinaan Komentar negatif atau berbahaya yang menargetkan atribut identitas dan/atau dilindungi.
Kekerasan Menjelaskan skenario yang menggambarkan kekerasan terhadap individu atau kelompok, atau deskripsi umum tentang adegan menyeramkan.
Seksual Berisi referensi ke tindakan seksual atau konten cabul lainnya.
Penghinaan Komentar yang menghina, menghasut, atau negatif terhadap seseorang atau sekelompok orang.
Kata-kata tidak sopan Bahasa cabul atau vulgar seperti kata-kata umpatan.
Kematian, Bahaya & Tragedi Kematian manusia, tragedi, kecelakaan, bencana, dan tindakan menyakiti diri sendiri.
Senjata Api & Senjata Konten yang menyebutkan pisau, senjata api, senjata pribadi, dan aksesori seperti amunisi, sarung, dll.
Keselamatan Umum Layanan dan organisasi yang memberikan bantuan sosial dan memastikan keamanan publik.
Kesehatan Kesehatan manusia, termasuk: Kondisi kesehatan, penyakit, dan gangguan Terapi medis, obat, vaksinasi, praktik medis, dan referensi untuk penyembuhan, termasuk grup dukungan.
Agama & Kepercayaan Sistem keyakinan yang menangani kemungkinan hukum dan makhluk supranatural; agama, iman, keyakinan, praktik spiritual, gereja, dan tempat ibadah. Termasuk astrologi dan okultisme.
Obat-Obatan Terlarang Narkoba dan narkoba; alat konsumsi dan budi daya narkoba, toko kelontong, dll. Termasuk penggunaan obat-obatan yang biasa digunakan untuk tujuan rekreasi (mis. ganja).
Perang & Konflik Perang, konflik militer, dan konflik fisik besar yang melibatkan banyak orang. Menyertakan diskusi tentang dinas militer, meskipun tidak terkait langsung dengan perang atau konflik.
Keuangan Layanan keuangan konsumen dan bisnis, seperti perbankan, pinjaman, kredit, investasi, dan asuransi.
Politik Berita dan media politik; diskusi tentang kebijakan sosial, pemerintahan, dan publik.
Legal Konten terkait hukum, termasuk firma hukum, informasi hukum, materi hukum utama, layanan paralegal, publikasi dan teknologi hukum, saksi ahli, konsultan proses pengadilan, dan penyedia layanan hukum lainnya.

Skor keyakinan atribut keamanan

Setiap atribut keamanan memiliki skor keyakinan terkait antara 0,00 dan 1,00, yang mencerminkan kemungkinan input atau respons yang termasuk dalam kategori tertentu.

Contoh respons

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

Menguji nilai minimum keyakinan Anda

Anda dapat menguji filter keamanan Google dan menentukan nilai minimum keyakinan yang tepat untuk bisnis Anda. Dengan menggunakan nilai minimum ini, Anda dapat mengambil tindakan yang komprehensif untuk mendeteksi konten yang melanggar kebijakan penggunaan atau persyaratan layanan Google dan mengambil tindakan yang sesuai.

Skor keyakinan hanyalah prediksi. Anda tidak harus bergantung pada skor keandalan atau akurasi. Google tidak bertanggung jawab untuk menafsirkan atau menggunakan skor ini untuk keputusan bisnis.

Perbedaan antara probabilitas dan tingkat keparahan

Skor keyakinan menunjukkan bahwa konten termasuk dalam kategori yang ditentukan, bukan tingkat keparahannya. Hal ini penting untuk dipertimbangkan karena beberapa konten memiliki kemungkinan rendah untuk dianggap tidak aman, meskipun tingkat keparahan bahayanya masih tinggi. Misalnya, membandingkan kalimat:

  1. Robot itu memukul saya.
  2. Robot itu menebas saya.

Kalimat 1 dapat menyebabkan kemungkinan konten tidak aman yang lebih tinggi, tetapi Anda dapat menganggap kalimat 2 sebagai tingkat keparahan yang lebih tinggi dalam hal kekerasan.

Oleh karena itu, penting bagi Anda untuk menguji dengan cermat dan mempertimbangkan tingkat pemblokiran yang sesuai untuk kasus penggunaan Anda sekaligus meminimalkan bahaya bagi pengguna akhir.

Dukungan bahasa

Bahasa ISO-639-1 Dukungan
Inggris es ya
Spanish es ya
Portugis pt ya
French fr ya
Italian it ya
German de ya
China zh ya
Japanese ja ya
Korean ko ya
Belanda nl terbatas
Russian ru terbatas
Hindi hai terbatas
Indonesian id terbatas
Arab ar terbatas

Cara memoderasi teks

Bagian ini menunjukkan cara memoderasi teks dalam dokumen. Anda perlu mengirimkan permintaan terpisah untuk setiap dokumen.

Berikut adalah contoh moderasi teks yang disediakan sebagai string:

Protocol

Untuk memoderasi konten dari dokumen, buat permintaan POST ke metode REST documents:moderateText dan berikan isi permintaan yang sesuai seperti ditunjukkan dalam contoh berikut.

Contoh ini menggunakan perintah gcloud auth application-default print-access-token guna mendapatkan token akses untuk akun layanan yang disiapkan untuk project menggunakan gcloud CLI Google Cloud Platform. Untuk mengetahui petunjuk tentang cara menginstal gcloud CLI, menyiapkan project dengan akun layanan, baca Panduan Memulai.

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

Memoderasi teks dari Cloud Storage

Berikut adalah contoh moderasi teks yang disimpan dalam file teks di Cloud Storage:

Protocol

Untuk memoderasi teks dari dokumen yang disimpan di Cloud Storage, buat permintaan POST ke metode REST documents:moderateText dan berikan isi permintaan yang sesuai dengan jalur ke dokumen seperti yang ditunjukkan pada contoh berikut.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"