Duet AI di Google Cloud dan responsible AI

Dokumen ini menjelaskan cara Duet AI dirancang dengan mempertimbangkan kemampuan, batasan, dan risiko yang terkait dengan AI generatif.

Kapabilitas dan risiko model bahasa besar

Model bahasa besar (LLM) dapat melakukan banyak tugas berguna seperti berikut:

  • Terjemahkan bahasa.
  • Rangkum teks.
  • Membuat kode dan penulisan kreatif.
  • Manfaatkan chatbot dan asisten virtual.
  • Lengkapi mesin telusur dan sistem rekomendasi.

Pada saat yang sama, kemampuan teknis LLM yang terus berkembang menciptakan potensi penerapan yang salah, penyalahgunaan, dan konsekuensi yang tidak diinginkan atau tidak terduga.

LLM dapat menghasilkan output yang tidak diharapkan, termasuk teks yang menyinggung, tidak sensitif, atau tidak benar secara faktual. Karena LLM sangat serbaguna, sulit untuk memprediksi dengan tepat jenis output yang tidak diinginkan atau tidak terduga yang mungkin dihasilkan.

Dengan mempertimbangkan risiko dan kompleksitas ini, Duet AI di Google Cloud dirancang dengan mempertimbangkan prinsip AI Google. Namun, penting bagi pengguna untuk memahami beberapa batasan teknologi agar dapat bekerja dengan aman dan bertanggung jawab.

Batasan Duet AI di Google Cloud

Beberapa batasan yang mungkin Anda temui saat menggunakan Duet AI di Google Cloud mencakup (tetapi tidak terbatas pada) hal berikut:

  • Kasus ekstrem. Kasus ekstrem mengacu pada situasi yang tidak biasa, jarang, atau luar biasa yang tidak terwakili dengan baik dalam data pelatihan. Kasus ini dapat menyebabkan batasan pada output Duet AI, seperti terlalu percaya diri model, salah penafsiran konteks, atau output yang tidak sesuai.

  • Buat model halusinasi, landasan, dan faktualitas. Duet AI di Google Cloud mungkin kurang memiliki landasan dan faktualitas dalam pengetahuan dunia nyata, properti fisik, atau pemahaman yang akurat. Keterbatasan ini dapat menyebabkan halusinasi model, saat Duet AI dapat menghasilkan output yang terdengar masuk akal tetapi tidak benar secara faktual, tidak relevan, tidak pantas, atau tidak masuk akal. Halusinasi juga dapat mencakup pembuatan link ke halaman web yang tidak ada dan tidak pernah ada. Untuk mengetahui informasi selengkapnya, lihat Menulis perintah yang lebih baik untuk Duet AI.

  • Kualitas dan penyesuaian data. Kualitas, akurasi, dan bias data perintah yang dimasukkan ke Duet AI dapat berdampak signifikan pada performanya. Jika pengguna memasukkan perintah yang tidak akurat atau salah, Duet AI mungkin menampilkan respons yang kurang optimal atau salah.

  • Penguatan bias. Model bahasa dapat secara tidak sengaja memperkuat bias yang ada dalam data pelatihannya, sehingga menghasilkan output yang dapat semakin memperkuat prasangka sosial dan perlakuan yang tidak setara terhadap kelompok tertentu.

  • Kualitas bahasa. Meskipun Duet AI menghasilkan kemampuan multibahasa yang mengesankan pada tolok ukur yang kami evaluasi, sebagian besar tolok ukur kami (termasuk semua evaluasi keadilan) menggunakan bahasa Inggris Amerika.

    Model bahasa mungkin memberikan kualitas layanan yang tidak konsisten kepada pengguna yang berbeda. Misalnya, pembuatan teks mungkin tidak seefektif untuk beberapa dialek atau varietas bahasa karena mereka kurang terwakili dalam data pelatihan. Performa mungkin lebih buruk untuk bahasa non-Inggris atau variasi bahasa Inggris dengan representasi yang lebih sedikit.

  • Tolok ukur dan subgrup keadilan. Analisis keadilan Google Research terkait Duet AI tidak memberikan penjelasan lengkap tentang berbagai potensi risiko. Misalnya, kami berfokus pada bias terhadap sumbu gender, ras, etnis, dan agama, tetapi melakukan analisis hanya pada output model dan data berbahasa Inggris Amerika.

  • Keahlian domain terbatas. Duet AI telah dilatih tentang teknologi Google Cloud, tetapi mungkin tidak memiliki kedalaman pengetahuan yang diperlukan untuk memberikan respons yang akurat dan mendetail terkait topik yang sangat terspesialisasi atau teknis, sehingga menghasilkan informasi yang kurang relevan atau salah.

    Saat Anda menggunakan panel Duet AI di Google Cloud Console, Duet AI tidak menyadari konteks lingkungan spesifik Anda, sehingga tidak dapat menjawab pertanyaan seperti "Kapan terakhir kali saya membuat VM?"

    Dalam beberapa kasus, Duet AI mengirimkan segmen tertentu dari konteks Anda ke model untuk menerima respons khusus konteks—misalnya, saat Anda mengklik tombol Saran pemecahan masalah di halaman layanan Error Reporting.

Pemfilteran keamanan dan toksisitas Duet AI

Perintah dan respons Duet AI di Google Cloud diperiksa berdasarkan daftar atribut keamanan yang lengkap sebagaimana berlaku untuk setiap kasus penggunaan. Atribut keamanan ini bertujuan untuk memfilter konten yang melanggar Kebijakan Penggunaan yang Dapat Diterima. Jika output dianggap berbahaya, respons akan diblokir.

Langkah selanjutnya