Moderasi teks

Moderasi teks menganalisis dokumen berdasarkan daftar atribut keamanan, yang mencakup "kategori berbahaya" dan topik yang mungkin dianggap sensitif. Untuk memoderasi teks dalam dokumen, panggil metode moderateText.

Daftar lengkap kategori yang ditampilkan untuk metode moderateText dapat ditemukan di sini:

Atribut Keamanan	Deskripsi
Toksik	Konten yang kasar, tidak sopan, atau tidak masuk akal.
Penghinaan	Komentar negatif atau berbahaya yang menargetkan atribut identitas dan/atau dilindungi.
Kekerasan	Menjelaskan skenario yang menggambarkan kekerasan terhadap individu atau kelompok, atau deskripsi umum tentang adegan menyeramkan.
Seksual	Berisi referensi ke tindakan seksual atau konten cabul lainnya.
Penghinaan	Komentar yang menghina, menghasut, atau negatif terhadap seseorang atau sekelompok orang.
Kata-kata tidak sopan	Bahasa cabul atau vulgar seperti kata-kata umpatan.
Kematian, Bahaya & Tragedi	Kematian manusia, tragedi, kecelakaan, bencana, dan tindakan menyakiti diri sendiri.
Senjata Api & Senjata	Konten yang menyebutkan pisau, senjata api, senjata pribadi, dan aksesori seperti amunisi, sarung, dll.
Keselamatan Umum	Layanan dan organisasi yang memberikan bantuan sosial dan memastikan keamanan publik.
Kesehatan	Kesehatan manusia, termasuk: Kondisi kesehatan, penyakit, dan gangguan Terapi medis, obat, vaksinasi, praktik medis, dan referensi untuk penyembuhan, termasuk grup dukungan.
Agama & Kepercayaan	Sistem keyakinan yang menangani kemungkinan hukum dan makhluk supranatural; agama, iman, keyakinan, praktik spiritual, gereja, dan tempat ibadah. Termasuk astrologi dan okultisme.
Obat-Obatan Terlarang	Narkoba dan narkoba; alat konsumsi dan budi daya narkoba, toko kelontong, dll. Termasuk penggunaan obat-obatan yang biasa digunakan untuk tujuan rekreasi (mis. ganja).
Perang & Konflik	Perang, konflik militer, dan konflik fisik besar yang melibatkan banyak orang. Menyertakan diskusi tentang dinas militer, meskipun tidak terkait langsung dengan perang atau konflik.
Keuangan	Layanan keuangan konsumen dan bisnis, seperti perbankan, pinjaman, kredit, investasi, dan asuransi.
Politik	Berita dan media politik; diskusi tentang kebijakan sosial, pemerintahan, dan publik.
Legal	Konten terkait hukum, termasuk firma hukum, informasi hukum, materi hukum utama, layanan paralegal, publikasi dan teknologi hukum, saksi ahli, konsultan proses pengadilan, dan penyedia layanan hukum lainnya.

Skor keyakinan atribut keamanan

Setiap atribut keamanan memiliki skor keyakinan terkait antara 0,00 dan 1,00, yang mencerminkan kemungkinan input atau respons yang termasuk dalam kategori tertentu.

Contoh respons

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

Menguji nilai minimum keyakinan Anda

Anda dapat menguji filter keamanan Google dan menentukan nilai minimum keyakinan yang tepat untuk bisnis Anda. Dengan menggunakan nilai minimum ini, Anda dapat mengambil tindakan yang komprehensif untuk mendeteksi konten yang melanggar kebijakan penggunaan atau persyaratan layanan Google dan mengambil tindakan yang sesuai.

Skor keyakinan hanyalah prediksi. Anda tidak harus bergantung pada skor keandalan atau akurasi. Google tidak bertanggung jawab untuk menafsirkan atau menggunakan skor ini untuk keputusan bisnis.

Perbedaan antara probabilitas dan tingkat keparahan

Skor keyakinan menunjukkan bahwa konten termasuk dalam kategori yang ditentukan, bukan tingkat keparahannya. Hal ini penting untuk dipertimbangkan karena beberapa konten memiliki kemungkinan rendah untuk dianggap tidak aman, meskipun tingkat keparahan bahayanya masih tinggi. Misalnya, membandingkan kalimat:

1. Robot itu memukul saya.
2. Robot itu menebas saya.

Kalimat 1 dapat menyebabkan kemungkinan konten tidak aman yang lebih tinggi, tetapi Anda dapat menganggap kalimat 2 sebagai tingkat keparahan yang lebih tinggi dalam hal kekerasan.

Oleh karena itu, penting bagi Anda untuk menguji dengan cermat dan mempertimbangkan tingkat pemblokiran yang sesuai untuk kasus penggunaan Anda sekaligus meminimalkan bahaya bagi pengguna akhir.

Dukungan bahasa

Bahasa	ISO-639-1	Dukungan
Inggris	es	ya
Spanish	es	ya
Portugis	pt	ya
French	fr	ya
Italian	it	ya
German	de	ya
China	zh	ya
Japanese	ja	ya
Korean	ko	ya
Belanda	nl	terbatas
Russian	ru	terbatas
Hindi	hai	terbatas
Indonesian	id	terbatas
Arab	ar	terbatas

Catatan: API ini tidak memiliki batasan ketat terkait dukungan bahasa, sehingga bahasa yang tidak publik akan tetap menampilkan prediksi. Kami tidak dapat memverifikasi kualitas prediksi untuk bahasa yang tidak tercantum. Demikian pula, dukungan "terbatas" berarti hasil dapat bervariasi berdasarkan jenis teks (mis. halaman web, pesan chat, dll.) untuk beberapa atribut. Apa pun kasusnya, sebaiknya evaluasi secara menyeluruh untuk kasus penggunaan Anda.

Cara memoderasi teks

Bagian ini menunjukkan cara memoderasi teks dalam dokumen. Anda perlu mengirimkan permintaan terpisah untuk setiap dokumen.

Berikut adalah contoh moderasi teks yang disediakan sebagai string:

Protocol

Untuk memoderasi konten dari dokumen, buat permintaan POST ke metode REST documents:moderateText dan berikan isi permintaan yang sesuai seperti ditunjukkan dalam contoh berikut.

Contoh ini menggunakan perintah gcloud auth application-default print-access-token guna mendapatkan token akses untuk akun layanan yang disiapkan untuk project menggunakan gcloud CLI Google Cloud Platform. Untuk mengetahui petunjuk tentang cara menginstal gcloud CLI, menyiapkan project dengan akun layanan, baca Panduan Memulai.

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

Memoderasi teks dari Cloud Storage

Berikut adalah contoh moderasi teks yang disimpan dalam file teks di Cloud Storage:

Protocol

Untuk memoderasi teks dari dokumen yang disimpan di Cloud Storage, buat permintaan POST ke metode REST documents:moderateText dan berikan isi permintaan yang sesuai dengan jalur ke dokumen seperti yang ditunjukkan pada contoh berikut.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"