Duet AI di Google Cloud dan responsible AI

Dokumen ini menjelaskan bagaimana Duet AI dirancang dengan mempertimbangkan kemampuan, batasan, dan risiko yang terkait dengan AI generatif.

Kemampuan dan risiko model bahasa besar

Model bahasa besar (LLM) dapat melakukan banyak tugas yang berguna seperti berikut:

  • Terjemahkan bahasa.
  • Rangkum teks.
  • Membuat kode dan penulisan kreatif.
  • Chatbot dan asisten virtual yang canggih.
  • Lengkapi mesin telusur dan sistem rekomendasi.

Pada saat yang sama, kemampuan teknis LLM yang terus berkembang menciptakan potensi penerapan yang salah, penyalahgunaan, dan konsekuensi yang tidak terduga atau tidak diinginkan.

LLM dapat menghasilkan output yang tidak Anda harapkan, termasuk teks yang menyinggung, tidak sensitif, atau tidak benar secara faktual. Karena LLM sangat serbaguna, sulit untuk memprediksi dengan tepat jenis output yang tidak diinginkan atau tidak terduga yang mungkin dihasilkannya.

Dengan mempertimbangkan risiko dan kompleksitas ini, Duet AI di Google Cloud dirancang dengan mempertimbangkan prinsip AI Google. Namun, penting bagi pengguna untuk memahami beberapa batasan teknologi agar dapat bekerja dengan aman dan bertanggung jawab.

Batasan Duet AI di Google Cloud

Beberapa batasan yang mungkin Anda temui saat menggunakan Duet AI di Google Cloud mencakup (tetapi tidak terbatas pada) hal-hal berikut:

  • Kasus ekstrem. Kasus ekstrem mengacu pada situasi yang tidak biasa, jarang, atau luar biasa yang tidak terwakili dengan baik dalam data pelatihan. Kasus ini dapat menyebabkan batasan dalam output Duet AI, seperti model yang terlalu percaya diri, salah penafsiran konteks, atau output yang tidak pantas.

  • Buat model halusinasi, landasan, dan faktualitas. Duet AI di Google Cloud mungkin tidak memiliki landasan dan faktualitas dalam pengetahuan nyata, sifat fisik, atau pemahaman yang akurat. Keterbatasan ini dapat menyebabkan halusinasi model, saat Duet AI dapat menghasilkan output yang terdengar masuk akal tetapi sebenarnya salah, tidak relevan, tidak pantas, atau tidak masuk akal. Halusinasi juga dapat mencakup pembuatan link ke halaman web yang tidak ada dan tidak pernah ada. Untuk mengetahui informasi selengkapnya, lihat Menulis perintah yang lebih baik untuk Duet AI.

    Untuk meminimalkan halusinasi, kami menggunakan beberapa pendekatan seperti menyediakan data berkualitas tinggi dalam jumlah besar untuk melatih dan menyesuaikan model, serta teknik perintah seperti pembuatan augmented reality.

  • Kualitas dan penyesuaian data. Kualitas, akurasi, dan bias data perintah yang dimasukkan ke Duet AI dapat berdampak signifikan pada performanya. Jika pengguna memasukkan perintah yang tidak akurat atau salah, Duet AI mungkin menampilkan respons yang kurang optimal atau salah.

  • Penguatan bias. Model bahasa dapat secara tidak sengaja memperkuat bias yang sudah ada dalam data pelatihannya, sehingga menghasilkan output yang dapat makin memperkuat prasangka sosial dan perlakuan yang tidak setara terhadap kelompok tertentu.

  • Kualitas bahasa. Meskipun Duet AI menghasilkan kemampuan multibahasa yang mengesankan berdasarkan tolok ukur yang kami evaluasi, sebagian besar tolok ukur kami (termasuk semua evaluasi keadilan) menggunakan bahasa Inggris Amerika.

    Model bahasa mungkin memberikan kualitas layanan yang tidak konsisten kepada pengguna yang berbeda. Misalnya, pembuatan teks mungkin tidak seefektif untuk beberapa dialek atau varietas bahasa karena kurang terwakili dalam data pelatihan. Performa mungkin akan lebih buruk untuk bahasa selain Inggris atau variasi bahasa Inggris dengan lebih sedikit representasi.

  • Tolok ukur dan subgrup keadilan. Analisis keadilan Google Research terkait Duet AI tidak memberikan informasi lengkap tentang berbagai potensi risiko. Misalnya, kami berfokus pada bias terhadap sumbu gender, ras, etnis, dan agama, tetapi hanya melakukan analisis pada output model dan data bahasa Inggris Amerika.

  • Keahlian domain terbatas. Duet AI telah dilatih menggunakan teknologi Google Cloud, tetapi mungkin kurang mendalami pengetahuan yang diperlukan untuk memberikan respons yang akurat dan mendetail tentang topik yang sangat khusus atau teknis, sehingga menyebabkan informasi yang kurang penting atau salah.

    Saat Anda menggunakan panel Duet AI di Konsol Google Cloud, Duet AI mungkin tidak mengetahui konteks lengkap dari project dan lingkungan spesifik Anda, sehingga Duet AI mungkin tidak dapat menjawab pertanyaan seperti "Kapan terakhir kali saya membuat VM?"

    Dalam beberapa kasus, Duet AI mengirimkan segmen tertentu dari konteks Anda ke model untuk menerima respons khusus konteks—misalnya, saat Anda mengklik tombol Saran pemecahan masalah di halaman layanan Error Reporting.

Pemfilteran keamanan Duet AI dan toksisitas

Respons dan perintah Duet AI di Google Cloud diperiksa berdasarkan daftar atribut keamanan lengkap yang berlaku untuk setiap kasus penggunaan. Atribut keamanan ini bertujuan untuk memfilter konten yang melanggar Kebijakan Penggunaan yang Dapat Diterima. Jika output dianggap berbahaya, respons akan diblokir.

Langkah selanjutnya