Memoderasi teks

Moderasi teks menganalisis dokumen berdasarkan daftar atribut keamanan, yang mencakup "kategori berbahaya" dan topik yang dapat dianggap sensitif. Untuk memoderasi teks dalam dokumen, panggil metode moderateText.

Daftar lengkap kategori yang ditampilkan untuk metode moderateText dapat ditemukan di sini:

Atribut Keamanan	Deskripsi
Toxic	Konten yang kasar, tidak sopan, atau tidak masuk akal.
Derogatory	Komentar negatif atau berbahaya yang menargetkan atribut identitas dan/atau dilindungi.
Violent	Menjelaskan skenario yang menggambarkan kekerasan terhadap individu atau kelompok, atau deskripsi umum tentang adegan menyeramkan.
Sexual	Berisi referensi ke tindakan seksual atau konten cabul lainnya.
Insult	Komentar yang menghina, menghasut, atau negatif terhadap seseorang atau sekelompok orang.
Kata-kata tidak sopan	Bahasa cabul atau vulgar seperti kata-kata umpatan.
Kematian, Bahaya & Tragedi	Kematian manusia, tragedi, kecelakaan, bencana, dan tindakan menyakiti diri sendiri.
Senjata Api & Senjata	Konten yang menyebutkan pisau, pistol, senjata pribadi, dan aksesori seperti amunisi, sarung pistol, dll.
Keselamatan Umum	Layanan dan organisasi yang memberikan bantuan sosial dan memastikan keamanan publik.
Kesehatan	Kesehatan manusia, termasuk: Kondisi kesehatan, penyakit, dan gangguan Terapi medis, pengobatan, vaksinasi, praktik medis, dan sumber daya untuk penyembuhan, termasuk kelompok pendukung.
Agama & Kepercayaan	Sistem kepercayaan yang melibatkan kemungkinan adanya hukum dan makhluk supranatural; agama, iman, keyakinan, praktik spiritual, gereja, dan tempat ibadah. Termasuk astrologi dan okultisme.
Illicit Drugs	Obat-obatan rekreasional dan terlarang; alat konsumsi dan budi daya narkoba, toko tembakau, dll. Termasuk penggunaan obat-obatan sebagai obat yang biasanya digunakan untuk tujuan rekreasi (misalnya ganja).
Perang & Konflik	Perang, konflik militer, dan konflik fisik besar yang melibatkan banyak orang. Mencakup diskusi tentang dinas militer, meskipun tidak terkait langsung dengan perang atau konflik.
Keuangan	Jasa keuangan konsumen dan bisnis, seperti perbankan, pinjaman, kredit, investasi, dan asuransi.
Politik	Berita dan media politik; diskusi tentang kebijakan sosial, pemerintahan, dan publik.
Hukum	Konten terkait hukum, termasuk firma hukum, informasi hukum, materi hukum primer, layanan paralegal, publikasi dan teknologi hukum, saksi ahli, konsultan proses pengadilan, dan penyedia layanan hukum lainnya.

Skor keyakinan atribut keamanan

Setiap atribut keamanan memiliki skor keyakinan terkait antara 0,00 dan 1,00, yang mencerminkan kemungkinan input atau respons termasuk dalam kategori tertentu.

Contoh respons

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

Menguji nilai minimum keyakinan Anda

Anda dapat menguji filter keamanan Google dan menentukan nilai minimum keyakinan yang tepat untuk bisnis Anda. Dengan menggunakan nilai minimum ini, Anda dapat mengambil tindakan yang komprehensif untuk mendeteksi konten yang melanggar kebijakan penggunaan atau persyaratan layanan Google dan mengambil tindakan yang sesuai.

Skor keyakinan hanyalah prediksi. Anda tidak boleh bergantung pada skor tersebut dalam hal keandalan atau akurasi. Google tidak bertanggung jawab untuk menafsirkan atau menggunakan skor ini untuk keputusan bisnis.

Perbedaan antara probabilitas dan tingkat keparahan

Skor keyakinan menunjukkan bahwa konten termasuk dalam kategori yang ditentukan, bukan tingkat keparahannya. Hal ini penting untuk dipertimbangkan karena beberapa konten memiliki kemungkinan rendah untuk dianggap tidak aman, meskipun tingkat keparahan bahayanya masih tinggi. Misalnya, membandingkan kalimat:

1. Robot itu memukul saya.
2. Robot itu menebas saya.

Kalimat 1 dapat menyebabkan kemungkinan konten tidak aman yang lebih tinggi, tetapi Anda dapat menganggap kalimat 2 sebagai tingkat keparahan yang lebih tinggi dalam hal kekerasan.

Oleh karena itu, penting bagi Anda untuk menguji dengan cermat dan mempertimbangkan tingkat pemblokiran yang sesuai untuk kasus penggunaan Anda sekaligus meminimalkan bahaya bagi pengguna akhir.

Dukungan bahasa

Bahasa	ISO-639-1	Dukungan
Inggris	es	ya
Spanyol	es	ya
Portugis	pt	ya
Prancis	fr	ya
Italia	it	ya
Jerman	de	ya
China	zh	ya
Jepang	ja	ya
Korea	ko	ya
Belanda	nl	terbatas
Rusia	ru	terbatas
Hindi	hai	terbatas
Indonesia	id	terbatas
Arab	ar	terbatas

Catatan: API tidak memiliki batasan ketat pada dukungan bahasa, sehingga bahasa yang tidak tercantum akan tetap menampilkan prediksi. Kami tidak dapat memverifikasi kualitas prediksi untuk bahasa yang tidak tercantum. Demikian pula, dukungan "terbatas" berarti hasil dapat bervariasi menurut jenis teks (misalnya, halaman web, pesan chat, dll.) untuk beberapa atribut. Apa pun kasusnya, sebaiknya lakukan evaluasi menyeluruh untuk kasus penggunaan Anda.

Cara memoderasi teks

Bagian ini menunjukkan cara memoderasi teks dalam dokumen. Anda harus mengirimkan permintaan terpisah untuk setiap dokumen.

Berikut adalah contoh moderasi teks yang disediakan sebagai string:

Protokol

Untuk memoderasi konten dari dokumen, buat permintaan POST ke metode REST documents:moderateText dan berikan isi permintaan yang sesuai seperti yang ditunjukkan dalam contoh berikut.

Contoh ini menggunakan perintah gcloud auth application-default print-access-token untuk mendapatkan token akses untuk akun layanan yang disiapkan untuk project menggunakan gcloud CLI Google Cloud Platform. Untuk petunjuk tentang cara menginstal gcloud CLI, menyiapkan project dengan akun layanan, lihat Panduan Memulai.

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

Memoderasi teks dari Cloud Storage

Berikut adalah contoh memoderasi teks yang disimpan dalam file teks di Cloud Storage:

Protokol

Untuk memoderasi teks dari dokumen yang disimpan di Cloud Storage, buat permintaan POST ke metode REST documents:moderateText dan berikan isi permintaan yang sesuai dengan jalur ke dokumen seperti yang ditunjukkan dalam contoh berikut.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"