Imagen di Vertex AI menghadirkan kemampuan AI generatif Google yang canggih kepada developer aplikasi. Sebagai teknologi tahap awal, kemampuan dan penggunaan Imagen di Vertex AI yang terus berkembang menciptakan potensi penyelewengan, penyalahgunaan, dan konsekuensi yang tidak diinginkan atau tidak terduga. Misalnya, Imagen di Vertex AI dapat menghasilkan output yang tidak diharapkan, seperti gambar yang menyinggung, tidak sensitif, atau salah secara kontekstual.
Mengingat risiko dan kompleksitas ini, Imagen di Vertex AI dirancang dengan mempertimbangkan Prinsip AI Google. Namun, penting bagi para developer untuk memahami dan menguji model mereka agar dapat men-deploy-nya dengan aman dan bertanggung jawab. Untuk membantu developer, Imagen di Vertex AI memiliki filter keamanan bawaan untuk membantu pelanggan memblokir output yang berpotensi berbahaya dalam kasus penggunaan mereka. Lihat bagian filter keamanan untuk mengetahui informasi selengkapnya.
Saat Imagen di Vertex AI diintegrasikan ke dalam konteks dan kasus penggunaan unik untuk pelanggan, pertimbangan responsible AI tambahan dan batasan model mungkin perlu untuk dipertimbangkan. Kami mendorong pelanggan untuk menggunakan praktik yang direkomendasikan untuk keadilan, interpretasi, privasi, dan keamanan.
Panduan penggunaan Imagen
Baca atribut produk umum dan pertimbangan hukum berikut sebelum Anda menggunakan Imagen di Vertex AI.
- Filter dan output gambar dan teks: Gambar (yang dihasilkan atau diupload) melalui Imagen di Vertex AI dinilai berdasarkan filter keamanan. Imagen bertujuan untuk memfilter gambar (yang dihasilkan atau diupload) yang melanggar kebijakan penggunaan yang dapat diterima (AUP) atau pembatasan produk AI Generatif tambahan. Selain itu, model gambar generatif kami dimaksudkan untuk menghasilkan konten asli dan tidak mereplikasi konten yang sudah ada. Kami telah mendesain sistem kami untuk membatasi kemungkinan terjadinya hal ini, dan kami akan terus meningkatkan cara kerja sistem ini. Seperti semua penyedia layanan cloud, Google memiliki Kebijakan Penggunaan yang Dapat Diterima, yang melarang pelanggan menggunakan layanan kami dengan cara yang melanggar hak IP pihak ketiga.
- Pembuatan orang kini didukung: Fitur ini memungkinkan pembuatan wajah sintetis yang fotorealistis, tetapi tidak mendukung pembuatan selebritas. Perlu diketahui bahwa dalam beberapa kasus, wajah sintetis mungkin terlihat mirip dengan individu. Jika menurut Anda fitur ini menghasilkan output yang buruk, laporkan hal ini menggunakan mekanisme pelaporan penyalahgunaan yang disebutkan di Ringkasan AI Generatif di Vertex AI.
- Pembuatan anak: Fitur ini memungkinkan pengguna tertentu yang disetujui membuat wajah anak sintetis yang fotorealistis. Untuk meminta kemampuan menggunakan fitur ini, hubungi tim akun Google Cloud Anda.
- Batas filter keamanan yang dapat dikonfigurasi: Google memblokir respons model yang melebihi skor keyakinan yang ditetapkan untuk atribut keamanan tertentu. Untuk meminta kemampuan mengubah nilai minimum keamanan, hubungi tim akun Google Cloud Anda.
- Penambahan teks didukung pada versi model tertentu:
Imagen tidak mendukung penambahan teks ke gambar (yang diupload
atau dibuat) menggunakan perintah teks saat menggunakan versi model
imagegeneration@004atau yang lebih rendah. - Melaporkan dugaan penyalahgunaan: Anda dapat melaporkan dugaan penyalahgunaan Imagen di Vertex AI atau output apa pun yang dihasilkan, yang berisi materi tidak pantas atau informasi yang tidak akurat menggunakan Laporkan dugaan penyalahgunaan di formulir Google Cloud.
- Memilih tidak ikut Program Penguji Tepercaya: Jika sebelumnya Anda memilih ikut serta untuk mengizinkan Google menggunakan data Anda guna meningkatkan layanan AI/ML pra-GA sebagai bagian dari persyaratan Program Penguji Tepercaya, Anda dapat memilih untuk tidak lagi ikut serta menggunakan formulir Permintaan untuk Memilih Tidak Ikut - Program Penguji Tepercaya.
Filter keamanan
Perintah teks yang diberikan sebagai input dan gambar (yang dihasilkan atau diupload) melalui
Imagen di Vertex AI dinilai berdasarkan daftar filter keamanan, yang
menyertakan 'kategori berbahaya' (misalnya, violence, sexual, derogatory,
dan toxic).
Filter keamanan ini bertujuan untuk memfilter konten (yang dihasilkan atau diupload) yang
melanggar Kebijakan Penggunaan yang Dapat Diterima (AUP),
Kebijakan Penggunaan yang Dilarang untuk AI Generatif, atau
Prinsip AI kami.
Jika model merespons permintaan dengan pesan error seperti "Perintah tidak dapat dikirim" atau "perintah tersebut mungkin melanggar kebijakan kami", input tersebut akan memicu filter keamanan. Jika gambar yang ditampilkan lebih sedikit dari yang diminta, beberapa output yang dihasilkan akan diblokir karena tidak memenuhi persyaratan keamanan.
Anda dapat memilih seberapa agresif konten sensitif akan difilter dengan menyesuaikan
parameter safetySetting.
Atribut keamanan
Atribut keamanan dan filter keamanan tidak memiliki hubungan pemetaan
satu-ke-satu. Atribut keamanan adalah kumpulan atribut yang kami tampilkan kepada pengguna
saat includeSafetyAttributes ditetapkan. Filter keamanan adalah kumpulan filter yang
kami gunakan untuk memfilter konten. Kami tidak memfilter semua kategori atribut keamanan. Misalnya, untuk kategori atribut keamanan "Kesehatan", kami tidak memfilter konten
berdasarkan skor keyakinan kesehatan. Selain itu, kami tidak mengekspos skor
kepercayaan untuk beberapa filter keamanan sensitif internal kami.
Mengonfigurasi filter keamanan
Ada beberapa parameter pemfilteran keamanan yang dapat Anda gunakan dengan model pembuatan gambar. Misalnya, Anda dapat mengizinkan model melaporkan kode filter keamanan untuk konten yang diblokir, menonaktifkan pembuatan orang atau wajah, menyesuaikan sensitivitas pemfilteran konten, atau menampilkan skor keamanan yang dibulatkan dari daftar atribut keamanan untuk input dan output. Untuk informasi teknis selengkapnya tentang setiap kolom, lihat referensi API model pembuatan gambar.
Responsnya bervariasi bergantung pada parameter yang Anda tetapkan; beberapa parameter memengaruhi konten yang dihasilkan, sementara parameter lainnya memengaruhi pemfilteran konten dan cara pemfilteran dilaporkan kepada Anda. Selain itu, format output bergantung pada apakah data input difilter, atau apakah output gambar yang dihasilkan difilter.
Parameter yang memfilter konten
Parameter opsional berikut memengaruhi pemfilteran konten atau cara pemfilteran dilaporkan kepada Anda:
safetySetting* - Memungkinkan Anda menetapkan seberapa agresif untuk memfilter konten output yang berpotensi sensitif.includeRaiReason- Memberikan informasi yang lebih panjang tentang output yang difilter.personGeneration- Setelan yang memungkinkan Anda lebih mengontrol pembuatan orang, wajah, dan anak-anak.disablePersonFace- Tidak digunakan lagi. Pilihan untuk mengizinkan pembuatan orang dan wajah atau tidak. Sebagai gantinya, pengguna harus menetapkanpersonGeneration.includeSafetyAttributes- Memberi Anda informasi atribut keamanan lengkap untuk teks input, gambar input (untuk pengeditan), dan semua gambar yang dihasilkan. Informasi ini mencakup kategori keamanan (misalnya,"Firearms & Weapons","Illicit Drugs", atau"Violence") dan skor keyakinan.
* Hanya tersedia untuk model imagegeneration@006.
Input yang difilter
Jika input teks atau gambar input (untuk pengeditan) difilter, Anda akan mendapatkan respons
dengan kode error 400. Permintaan dengan input yang difilter RAI akan menampilkan format output
ini jika Anda menetapkan includeRaiReason atau includeSafetyAttributes.
Output bergantung pada versi model yang Anda gunakan. Berikut ini menunjukkan output saat input difilter untuk versi model yang berbeda:
Model
{ "error": { "code": 400, "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback." "status": "INVALID_ARGUMENT", "details": [ { "@type": "type.googleapis.com/google.rpc.DebugInfo", "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image editing failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. Support codes: 42876398\" }" } ] } }
Model
{ "error": { "code": 400, "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.", "status": "INVALID_ARGUMENT", "details": [ { "@type": "type.googleapis.com/google.rpc.DebugInfo", "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google\\'s Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }" } ] } }
Output yang difilter
Konten output yang difilter bervariasi bergantung pada parameter RAI yang Anda tetapkan.
Contoh output berikut menunjukkan hasil penggunaan parameter includeRaiReason
dan includeSafetyAttributes.
Output yang difilter menggunakan includeRaiReason
Jika Anda tidak menambahkan includeRaiReason atau menetapkan includeRaiReason: false, respons
Anda hanya akan menyertakan objek gambar yang dihasilkan yang tidak difilter. Setiap objek gambar yang difilter akan dihilangkan dari array "predictions": []. Misalnya, berikut adalah respons terhadap permintaan dengan "sampleCount": 4, tetapi
dua gambar difilter dan akibatnya dihilangkan:
{ "predictions": [ { "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=", "mimeType": "image/png" }, { "mimeType": "image/png", "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z" } ], "deployedModelId": "MODEL_ID" }
Jika Anda menetapkan includeRaiReason: true dan beberapa gambar output difilter, respons Anda akan menyertakan objek gambar yang dihasilkan dan objek raiFilteredReason untuk setiap gambar output yang difilter. Misalnya, berikut adalah respons terhadap
permintaan dengan "sampleCount": 4 dan includeRaiReason: true, tetapi dua dari
gambar difilter. Akibatnya, dua objek menyertakan informasi gambar yang dihasilkan dan objek lainnya menyertakan pesan error.
Model
{ "predictions": [ { "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=", "mimeType": "image/png" }, { "mimeType": "image/png", "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z" }, { "raiFilteredReason": "Your current safety filter threshold filtered out 2 generated images. You will not be charged for blocked images. Try rephrasing the prompt. If you think this was an error, send feedback." }, ], "deployedModelId": "MODEL_ID" }
Model
{ "predictions": [ { "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=", "mimeType": "image/png" }, { "mimeType": "image/png", "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z" }, { "raiFilteredReason": "56562880" }, { "raiFilteredReason": "56562880" } ], "deployedModelId": "MODEL_ID" }
Output yang difilter menggunakan includeSafetyAttributes
Jika Anda menetapkan "includeSafetyAttributes": true, array "predictions": [] respons
akan menyertakan skor RAI (dibulatkan ke satu tempat desimal) dari atribut keamanan
teks perintah positif. Atribut keamanan gambar juga ditambahkan ke setiap output yang tidak difilter. Jika gambar output
difilter, atribut keamanannya tidak akan ditampilkan. Misalnya, berikut adalah respons terhadap permintaan yang tidak difilter, dan satu gambar ditampilkan:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png",
"safetyAttributes": {
"categories": [
"Porn",
"Violence"
],
"scores": [
0.1,
0.2
]
}
},
{
"contentType": "Positive Prompt",
"safetyAttributes": {
"categories": [
"Death, Harm & Tragedy",
"Firearms & Weapons",
"Hate",
"Health",
"Illicit Drugs",
"Politics",
"Porn",
"Religion & Belief",
"Toxic",
"Violence",
"Vulgarity",
"War & Conflict"
],
"scores": [
0,
0,
0,
0,
0,
0,
0.2,
0,
0.1,
0,
0.1,
0
]
}
},
],
"deployedModelId": "MODEL_ID"
}
Kategori kode filter keamanan
Bergantung pada filter keamanan yang Anda konfigurasikan, output Anda mungkin berisi kode alasan keamanan yang mirip dengan berikut ini:
{
"raiFilteredReason": "ERROR_MESSAGE. Support codes: 56562880""
}Kode yang tercantum sesuai dengan kategori berbahaya tertentu. Pemetaan kode ke kategori ini adalah sebagai berikut:
| Kode error | Kategori keamanan | Deskripsi | Konten yang difilter: input perintah atau output gambar |
|---|---|---|---|
| 58061214 17301594 |
Anak | Mendeteksi konten anak yang tidak diizinkan karena setelan permintaan API atau daftar yang diizinkan. | input (perintah): 58061214 output (gambar): 17301594 |
| 29310472 15236754 |
Selebritas | Mendeteksi representasi fotorealistik selebritas dalam permintaan. | input (perintah): 29310472 output (gambar): 15236754 |
| 62263041 | Konten berbahaya | Mendeteksi konten yang berpotensi berbahaya. | input (perintah) |
| 57734940 22137204 |
Kebencian | Mendeteksi topik atau konten terkait kebencian. | input (perintah): 57734940 output (gambar): 22137204 |
| 74803281 29578790 42876398 |
Lainnya | Mendeteksi masalah keamanan lainnya yang tidak tercantum dengan permintaan | input (perintah): 42876398, output (gambar): 29578790, 74803281 |
| 39322892 | Orang/Wajah | Mendeteksi orang atau wajah jika tidak diizinkan karena setelan keamanan permintaan. | output (gambar) |
| 92201652 | Informasi pribadi | Mendeteksi Informasi Identitas Pribadi (PII) dalam teks, seperti menyebutkan nomor kartu kredit, alamat rumah, atau informasi serupa lainnya. | input (perintah) |
| 89371032 49114662 72817394 |
Konten terlarang | Mendeteksi permintaan konten yang dilarang dalam permintaan. | input (perintah): 89371032 output (gambar): 49114662, 72817394 |
| 90789179 63429089 43188360 |
Sexual | Mendeteksi konten yang bersifat seksual. | input (perintah): 90789179 output (gambar): 63429089, 43188360 |
| 78610348 | Toxic | Mendeteksi topik atau konten beracun dalam teks. | input (perintah) |
| 61493863 56562880 |
Kekerasan | Mendeteksi konten terkait kekerasan dari gambar atau teks. | input (perintah): 61493863 output (gambar): 56562880 |
| 32635315 | Vulgar | Mendeteksi topik atau konten vulgar dari teks. | input (perintah) |
Batasan
Batas berikut berlaku untuk berbagai tugas:
Batasan pembuatan gambar
- Mempromosikan bias: Meskipun Imagen di Vertex AI dapat menghasilkan gambar yang berkualitas tinggi, mungkin terdapat potensi bias pada konten yang dihasilkan. Gambar yang dihasilkan bergantung pada data pelatihan produk, yang dapat secara tidak sengaja menyertakan bias yang dapat menyebabkan stereotip atau diskriminasi terhadap kelompok-kelompok tertentu. Pemantauan dan pengevaluasian yang cermat diperlukan untuk memastikan agar outputnya sesuai dengan Kebijakan Penggunaan yang Dapat Diterima Google dan kasus penggunaan Anda.
- Transparansi dan pengungkapan: Pengguna mungkin akan kesulitan untuk membedakan antara Gambar yang dibuat AI, dan gambar yang tidak dibuat AI. Saat menggunakan gambar yang dibuat AI dalam kasus penggunaan Anda, penting untuk mengungkapkan dengan jelas kepada pengguna bahwa gambarnya telah dibuat oleh sistem AI untuk memastikan transparansi dan menjaga kepercayaan dalam prosesnya. Kami telah menerapkan pelabelan metadata pada gambar yang dibuat AI untuk membantu mengurangi risiko misinformasi, dan sebagai bagian dari pendekatan yang bertanggung jawab terhadap AI.
- Konteks yang tidak memadai: Imagen di Vertex AI mungkin kurang memiliki pemahaman kontekstual yang diperlukan untuk menghasilkan gambar yang sesuai untuk semua situasi atau audiens dalam kasus penggunaan Anda. Pastikan untuk memeriksa apakah gambar yang dihasilkan sesuai dengan konteks, tujuan, dan audiens yang dipilih.
Batasan pengeditan gambar
- Pernyataan tidak benar dan keaslian: Mengedit gambar menggunakan Imagen di Vertex AI dapat mengakibatkan pernyataan tidak benar, atau manipulasi gambar, yang berpotensi menyebabkan pembuatan konten yang menipu atau menyesatkan. Penting untuk memastikan bahwa proses pengeditan digunakan secara bertanggung jawab, tanpa mengorbankan keaslian dan kebenaran gambar yang telah diedit. Kami telah menerapkan pelabelan metadata pada gambar yang diedit AI untuk membantu memerangi risiko misinformasi, dan sebagai bagian dari pendekatan yang bertanggung jawab terhadap AI.
Batasan teks keterangan visual
- Akurasi dan sensitivitas konteks: Teks keterangan visual mungkin mengalami tantangan dalam mendeskripsikan gambar yang kompleks atau ambigu secara akurat. Deskripsi yang dihasilkan mungkin tidak selalu menangkap konteks atau nuansa konten visual secara lengkap. Perlu diketahui bahwa sistem teks keterangan otomatis memiliki keterbatasan dalam memahami gambar dengan berbagai tingkat kompleksitas, dan deskripsinya harus digunakan dengan hati-hati, terutama dalam konteks penting atau sensitif.
- Ambiguitas dan penafsiran subjektif: Gambar sering kali dapat ditafsirkan dalam beberapa interpretasi, dan teks yang dihasilkan mungkin tidak selalu sesuai dengan pemahaman atau ekspektasi manusia. Setiap orang dapat melihat dan menggambarkan gambar secara berbeda, berdasarkan pengalaman subjektif dan latar belakang budaya mereka. Anda harus mempertimbangkan potensi ambiguitas dan subjektivitas dalam deskripsi gambar, dan memberikan konteks tambahan atau interpretasi alternatif jika diperlukan.
- Pertimbangan aksesibilitas: Meskipun teks gambar otomatis dapat mendukung aksesibilitas dengan memberikan deskripsi untuk penyandang gangguan penglihatan, penting untuk diketahui bahwa teks ini mungkin tidak sepenuhnya menggantikan teks alternatif buatan manusia, atau deskripsi yang disesuaikan dengan kebutuhan aksesibilitas tertentu. Teks otomatis mungkin tidak memiliki tingkat detail atau pemahaman kontekstual yang diperlukan untuk kasus penggunaan aksesibilitas tertentu.
Batasan Visual Question Answering (VQA)
- Kepercayaan diri yang berlebih, dan ketidakpastian: Model VQA terkadang dapat memberikan jawaban dengan keyakinan yang tidak beralasan, bahkan saat jawaban yang benarnya belum pasti atau ambigu. Penting untuk mengomunikasikan ketidakpastian model, dan memberikan skor keyakinan yang sesuai atau jawaban alternatif jika terdapat ambiguitas, daripada menyampaikan rasa kepastian yang palsu.
Praktik yang direkomendasikan
Untuk memanfaatkan teknologi ini dengan aman dan bertanggung jawab, penting juga untuk mempertimbangkan risiko lain yang spesifik untuk kasus penggunaan, pengguna, dan konteks bisnis Anda, selain memanfaatkan perlindungan teknis bawaan.
Anda sebaiknya melakukan langkah-langkah berikut ini:
- Menilai risiko keamanan aplikasi Anda.
- Mempertimbangkan penyesuaian untuk mengurangi risiko keselamatan.
- Melakukan pengujian keamanan yang sesuai dengan kasus penggunaan Anda.
- Meminta masukan pengguna dan memantau konten.
Referensi Responsible AI lainnya
- Mempelajari Responsible AI untuk Model Bahasa Besar (LLM).
- Mempelajari rekomendasi Google lebih lanjut untuk Praktik Responsible AI.
- Membaca blog kami, Agenda bersama untuk progres responsible AI
Memberikan masukan pada Imagen di Vertex AI
Jika Anda menerima output atau respons yang tidak akurat, atau yang menurut Anda tidak aman, Anda dapat memberi tahu kami dengan mengirimkan masukan. Masukan Anda dapat membantu meningkatkan kualitas Imagen di Vertex AI, dan upaya Google yang lebih luas dalam AI.
Karena masukan dapat dibaca manusia, jangan mengirimkan data yang berisi informasi pribadi, rahasia, atau sensitif.