Imagen su Vertex AI offre le funzionalità di IA generativa all'avanguardia di Google agli sviluppatori di applicazioni. Essendo una tecnologia in fase iniziale, Imagen su Vertex AI le capacità e gli usi in continua evoluzione creano il potenziale per applicazioni errate, usi impropri e con conseguenze indesiderate o impreviste. Ad esempio, Imagen su Vertex AI generare output che non ti aspetti, come immagini offensive, insensibili o non corretti dal punto di vista del contesto.
Dati questi rischi e complessità, Imagen su Vertex AI è progettato secondo i principi dell'IA di Google. Tuttavia, è importante che gli sviluppatori comprendano e testano i loro modelli per di implementarle in modo sicuro e responsabile. Per aiutare gli sviluppatori, Imagen su Vertex AI ha filtri di sicurezza integrati per aiutare i clienti a bloccare output potenzialmente dannosi all'interno del loro caso d'uso. Consulta la sezione relativa ai filtri di sicurezza per saperne di più.
Quando Imagen su Vertex AI è integrato nell'utilizzo unico di un cliente caso e contesto, ulteriori considerazioni sull'AI responsabile e limiti del modello potrebbe essere necessario prendere in considerazione. Incoraggiamo i clienti a utilizzare la correttezza, pratiche consigliate di interpretabilità, privacy e sicurezza.
Linee guida sull'utilizzo di Imagen
Leggi i seguenti attributi generali del prodotto e considerazioni legali prima di utilizzi Imagen su Vertex AI.
- Filtri e output di immagini e testo:immagini (generate o caricate) tramite Imagen su Vertex AI vengono valutate in base ai filtri di sicurezza. Imagen mira a escludere (generati o caricati) violare le nostre Norme di utilizzo accettabile (AUP) o ulteriori prodotti di IA generativa limitazioni. Inoltre, i nostri modelli di immagini generative hanno lo scopo generare contenuti originali e non replicare contenuti esistenti. Abbiamo progettato per limitare le probabilità che ciò accada e continueremo a a migliorare il funzionamento di questi sistemi. Come tutti i provider di servizi cloud, Google ha adottato Norme di utilizzo accettabile che vietano ai clienti di utilizzare le nostre che violano i diritti IP di terze parti.
- Generazione di persone ora supportata: questa funzionalità consente la generazione di volti sintetici e fotorealistici, ma non supporta la generazione di celebrità. Tieni presente che, in alcuni casi, i volti sintetici potrebbero apparire in modo simile agli individui. Se ritieni che questa caratteristica stia generando output errati, segnalalo utilizzando il meccanismo di segnalazione di comportamenti illeciti menzionata in Panoramica dell'AI generativa su Vertex per l'IA.
- Generazione di bambini:questa funzionalità consente a utenti selezionati approvati per creare volti sintetici e fotorealistici dei bambini. Per richiedere il di utilizzare questa funzionalità, contatta il team dedicato all'account Google Cloud.
- Soglie del filtro di sicurezza configurabili: Google blocca le risposte del modello che superano i punteggi di affidabilità designati per determinati attributi di sicurezza. Per richiedere la possibilità di modificare una soglia di sicurezza, contatta il tuo del team dedicato all'account Google Cloud.
- Aggiunta di testo supportata su alcune versioni del modello:
Imagen non supporta l'aggiunta di testo alle immagini (caricate
o generati) utilizzando un prompt di testo quando si utilizza
imagegeneration@004o versioni precedenti del modello. - Segnala un abuso sospetto: Puoi segnalare presunti abusi di Imagen su Vertex AI o qualsiasi output generato che contiene materiale inappropriato o informazioni imprecise utilizzando i Segnala i sospetti comportamenti illeciti nel modulo di Google Cloud.
- Disattivazione del programma Trusted Tester: se in precedenza hai consentito a Google di utilizzare i tuoi dati. per migliorare i servizi di IA/ML pre-GA nell'ambito dei termini del programma Trusted Tester, puoi disattivare utilizzando Programma Trusted Tester - Modulo di richiesta di non partecipazione.
Filtri di sicurezza
Prompt di testo forniti come input e immagini (generati o caricati) tramite
Le Imagen su Vertex AI vengono valutate in base a un elenco di filtri di sicurezza,
includi "categorie dannose" (ad esempio, violence, sexual, derogatory,
e toxic).
Questi filtri di sicurezza hanno lo scopo di filtrare (generati o caricati) i contenuti che
violano le nostre Norme di utilizzo accettabile (AUP),
Norme relative all'uso vietato dell'IA generativa o le nostre
Principi dell'IA.
Se il modello risponde a una richiesta con un messaggio di errore come "Il prompt impossibile inviare" o "potrebbe violare le nostre norme", l'input viene l'attivazione di un filtro di sicurezza. Se vengono restituite meno immagini di quelle richieste, alcuni output generati sono bloccati perché non soddisfano i requisiti di sicurezza.
Puoi scegliere l'aggressività con cui filtrare i contenuti sensibili regolando il
Parametro safetySetting.
Attributi di sicurezza
Gli attributi e i filtri di sicurezza non hanno una mappatura one-to-one
relazione tra di noi. Gli attributi di sicurezza sono l'insieme di attributi che restituiamo all'utente
quando includeSafetyAttributes è impostato. I filtri di sicurezza sono l'insieme
utilizzare per filtrare i contenuti. Non applichiamo filtri in base a tutte le categorie degli attributi sicurezza. Per
Ad esempio, per la categoria dell'attributo sicurezza "Salute", non filtriamo i contenuti.
in base al punteggio di confidenza dell'integrità. Inoltre, non riveliamo l'affidabilità
per alcuni dei nostri filtri di sicurezza sensibili interni.
Configura filtri di sicurezza
Esistono diversi parametri del filtro di sicurezza che puoi utilizzare con il
imagegeneration. Ad esempio, puoi consentire al modello
di generare report sulla sicurezza
codici per i contenuti bloccati, disattivare la generazione di volti o di persone, modificare
sensibilità del filtro dei contenuti o restituire punteggi di sicurezza arrotondati dell'elenco di
attributi di sicurezza per input e output. Per informazioni più tecniche sui singoli campi, consulta
Riferimento API del modello imagegeneration.
La risposta varia in base ai parametri impostati. alcuni parametri influiscono sui contenuti prodotti, mentre altri influiscono sul filtro dei contenuti e sul modo che ti viene segnalato. Inoltre, il formato di output dipende dal fatto che vengono filtrati i dati di input o l'output dell'immagine generata viene filtrato.
Parametri che filtrano i contenuti
I seguenti parametri facoltativi influiscono sul filtro dei contenuti o sul modo in cui viene applicato segnalato:
safetySetting* - Ti consente di impostare l'aggressività del filtro in base a contenuti di output potenzialmente sensibili.includeRaiReason: fornisce informazioni più dettagliate sull'output filtrato.personGeneration- Un'impostazione che consente di avere un maggiore controllo sulle generazione di persone, volti e bambini.disablePersonFace: ritirato. La scelta di permettere ai volti della persona o meno. Gli utenti devono invece impostarepersonGeneration.includeSafetyAttributes: fornisce informazioni complete sull'attributo sicurezza per testo di input, immagine di input (per la modifica) e tutte le immagini generate. Questo includono la categoria di sicurezza (ad esempio,"Firearms & Weapons","Illicit Drugs"o"Violence") e i punteggi di confidenza.
* Disponibile solo per il modello imagegeneration@006.
Input filtrato
Se l'input di testo o l'immagine di input (per la modifica) viene filtrato, verrà visualizzata una risposta
con un codice di errore 400. Una richiesta con un input filtrato RAI restituisce questo output
se imposti includeRaiReason o includeSafetyAttributes.
L'output dipende dalla versione del modello utilizzata. Di seguito viene mostrato l'output quando l'input viene filtrato in base alle diverse versioni del modello:
Modello
{
"error": {
"code": 400,
"message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback."
"status": "INVALID_ARGUMENT",
"details": [
{
"@type": "type.googleapis.com/google.rpc.DebugInfo",
"detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image editing failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. Support codes: 42876398\" }"
}
]
}
}
Modelli
{
"error": {
"code": 400,
"message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.",
"status": "INVALID_ARGUMENT",
"details": [
{
"@type": "type.googleapis.com/google.rpc.DebugInfo",
"detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google\\'s Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }"
}
]
}
}
Output filtrato
I contenuti dell'output filtrato variano a seconda del parametro RAI impostato.
I seguenti esempi di output mostrano il risultato dell'utilizzo dell'elemento includeRaiReason
e includeSafetyAttributes.
Output filtrato utilizzando includeRaiReason
Se non aggiungi includeRaiReason o non imposti includeRaiReason: false,
la risposta include solo gli oggetti immagine generati che non sono filtrati. Qualsiasi
oggetti immagine filtrati vengono omessi dall'array "predictions": []. Per
ad esempio, la risposta che segue è una risposta a una richiesta con "sampleCount": 4,
vengono filtrate e omesse di conseguenza:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
}
],
"deployedModelId": "MODEL_ID"
}
Se imposti includeRaiReason: true e diverse immagini di output vengono filtrate, le
la risposta include oggetti immagine generati e raiFilteredReason oggetti per
a qualsiasi immagine di output filtrata. Ad esempio, di seguito è riportata una risposta a un
richiesta con "sampleCount": 4 e includeRaiReason: true, ma due dei
vengono filtrate. Di conseguenza, due oggetti includono l'immagine generata
e l'altro oggetto include un messaggio di errore.
Modello
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
},
{
"raiFilteredReason": "Your current safety filter threshold filtered out 2 generated images. You will not be charged for blocked images. Try rephrasing the prompt. If you think this was an error, send feedback."
},
],
"deployedModelId": "MODEL_ID"
}
Modelli
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
},
{
"raiFilteredReason": "56562880"
},
{
"raiFilteredReason": "56562880"
}
],
"deployedModelId": "MODEL_ID"
}
Output filtrato utilizzando includeSafetyAttributes
Se imposti "includeSafetyAttributes": true, la risposta "predictions": []
include i punteggi RAI (arrotondati al punto decimale) della sicurezza del testo
gli attributi del prompt positivo. La sicurezza dell'immagine
vengono aggiunti a ogni output non filtrato. Se un'immagine di output viene
i suoi attributi di sicurezza filtrati non vengono restituiti. Ad esempio, di seguito è riportato un
a una richiesta senza filtri e viene restituita un'immagine:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png",
"safetyAttributes": {
"categories": [
"Porn",
"Violence"
],
"scores": [
0.1,
0.2
]
}
},
{
"contentType": "Positive Prompt",
"safetyAttributes": {
"categories": [
"Death, Harm & Tragedy",
"Firearms & Weapons",
"Hate",
"Health",
"Illicit Drugs",
"Politics",
"Porn",
"Religion & Belief",
"Toxic",
"Violence",
"Vulgarity",
"War & Conflict"
],
"scores": [
0,
0,
0,
0,
0,
0,
0.2,
0,
0.1,
0,
0.1,
0
]
}
},
],
"deployedModelId": "MODEL_ID"
}
Categorie di codici del filtro di sicurezza
A seconda dei filtri di sicurezza configurati, l'output potrebbe contenere un simile al seguente:
{
"raiFilteredReason": "ERROR_MESSAGE. Support codes: 56562880""
}
Il codice elencato corrisponde a una categoria dannosa specifica. Questi codici le mappature delle categorie sono le seguenti:
| Codice di errore | Categoria di sicurezza | Descrizione | Contenuti filtrati: input del prompt o output di immagine |
|---|---|---|---|
| 58061214 17301594 |
Figlio | Rileva i contenuti secondari dove non è consentito a causa delle impostazioni delle richieste API o della lista consentita. | input (messaggio): 58061214 output (immagine): 17301594 |
| 29310472 15236754 |
Celebrity | Rileva una rappresentazione fotorealistica di una celebrità nella richiesta. | input (messaggio): 29310472 output (immagine): 15236754 |
| 62263041 | Contenuti pericolosi | Rileva i contenuti potenzialmente pericolosi. | input (messaggio) |
| 57734940 22137204 |
Incitamento all'odio | Rileva argomenti o contenuti che incitano all'odio. | input (messaggio): 57734940 output (immagine): 22137204 |
| 74803281 29578790 42876398 |
Altro | Rileva altri problemi di sicurezza vari correlati alla richiesta | ingresso (messaggio): 42876398, output (immagine): 29578790, 74803281 |
| 39322892 | Persone/volto | Rileva una persona o un volto quando non è consentito a causa delle impostazioni di sicurezza della richiesta. | output (immagine) |
| 92201652 | Informazioni personali | Rileva le informazioni che consentono l'identificazione personale (PII) nel testo, ad esempio la menzione del numero di carta di credito, dell'indirizzo di casa o di altre informazioni di questo genere. | input (messaggio) |
| 89371032 49114662 72817394 |
Contenuti vietati | Rileva la richiesta di contenuti vietati nella richiesta. | input (messaggio): 89371032 output (immagine): 49114662, 72817394 |
| 90789179 63429089 43188360 |
Contenuti di natura sessuale | Rileva contenuti di natura sessuale. | input (messaggio): 90789179 output (immagine): 63429089, 43188360 |
| 78610348 | Contenuti tossici | Rileva argomenti o contenuti tossici nel testo. | input (messaggio) |
| 61493863 56562880 |
Violenza | Rileva contenuti correlati alla violenza nell'immagine o nel testo. | input (messaggio): 61493863 output (immagine): 56562880 |
| 32635315 | Volgare | Rileva argomenti o contenuti volgari dal testo. | input (messaggio) |
Limitazioni
I seguenti limiti si applicano alle diverse attività:
Limitazioni per la generazione di immagini
- Amplificazione del bias: anche se Imagen su Vertex AI è in grado di generare immagini, potrebbero esserci dei potenziali bias nei contenuti generati. Immagini generati si basano sui dati di addestramento del prodotto, cosa che può involontariamente includono bias che possono perpetuare stereotipi o discriminare determinati gruppi. Sono necessarie un'attenta monitoraggio e una valutazione Gli output sono conformi alle Norme di utilizzo accettabile di Google e al tuo caso d'uso.
- Trasparenza e divulgazione. Può essere difficile per gli utenti distinguere tra immagini create con AI e immagini non create con AI. Quando utilizzi immagini create con AI nel tuo caso d'uso, è importante comunicare chiaramente agli utenti che le immagini sono state generate da un'IA per garantire la trasparenza e mantenere la fiducia nel processo. Abbiamo l'etichettatura dei metadati applicata alle immagini create con AI per contribuire a contrastare il rischio disinformazione e nell'ambito del nostro approccio responsabile all'IA.
- Contesto insufficiente: Imagen su Vertex AI potrebbe non disporre del contesto le conoscenze necessarie per generare immagini appropriate per tutti di situazioni o segmenti di pubblico specifici nel tuo caso d'uso. Assicurati di controllare le immagini generate sono in linea con il contesto, lo scopo e le intenzioni pubblico.
Limitazioni alla modifica delle immagini
- Rappresentazione ingannevole e autenticità: modificare le immagini utilizzando Imagen su Vertex AI può comportare una rappresentazione ingannevole o una manipolazione di immagini che potrebbero portare alla creazione di immagini ingannevoli o fuorvianti contenuti. È importante assicurarsi che il processo di editing venga utilizzato in modo responsabile, senza compromettere l'autenticità e la veridicità delle immagini modificate. Abbiamo applicato l'etichettatura dei metadati alle immagini modificate con AI per aiutarti combattere il rischio di disinformazione e, nell'ambito del nostro approccio responsabile alla per AI responsabile.
Limitazioni delle didascalie visive
- Accuratezza e sensibilità al contesto: potrebbero verificarsi sottotitoli codificati visivi difficoltà nel descrivere con precisione immagini complesse o ambigue. La le descrizioni generate non sempre coprono il contesto completo ogni sfumatura dei contenuti visivi. È importante riconoscere che i modelli i sistemi di sottotitolaggio hanno limiti nella comprensione delle immagini con livelli di complessità e le relative descrizioni devono essere utilizzate con cautela, in particolare in contesti critici o sensibili.
- Ambiguità e interpretazioni soggettive: le immagini possono spesso essere aperte a interpretazioni multiple e i sottotitoli generati potrebbero non essere sempre allineati con la comprensione o le aspettative umane. Persone diverse possono percepire e descrivere le immagini in modo diverso a seconda delle loro esperienze soggettive background culturali. È fondamentale considerare il potenziale di ambiguità e soggettività nelle descrizioni delle immagini, oltre a fornire contesto aggiuntivo interpretazioni alternative ove necessario.
- Considerazioni sull'accessibilità: sebbene le didascalie delle immagini automatiche possano supportare l'accessibilità fornendo descrizioni per le persone con disabilità visiva, è importante riconoscere che possono non sostituire del tutto le immagini testo alternativo o descrizioni su misura per esigenze di accessibilità specifiche. Automatico i sottotitoli codificati potrebbero non disporre del livello di dettaglio o di comprensione del contesto necessario per alcuni casi d'uso relativi all'accessibilità.
Limitazioni relative alla risposta alle domande visive (VQA)
- Sovra fiducia e incertezza: i modelli VQA a volte possono fornire risposte con sicurezza ingiustificata, anche quando la risposta giusta è incerta o ambiguo. È essenziale comunicare l'incertezza del modello fornire punteggi di affidabilità appropriati o risposte alternative quando c'è piuttosto che trasmettere un falso senso di certezza.
Pratiche consigliate
Per utilizzare questa tecnologia in modo sicuro e responsabile, è importante anche considerare altri rischi specifici per il caso d'uso, gli utenti e il contesto aziendale in con salvaguardie tecniche integrate.
Ti consigliamo di procedere nel seguente modo:
- Valuta i rischi per la sicurezza della tua applicazione.
- Valuta la possibilità di apportare modifiche per mitigare i rischi per la sicurezza.
- Esegui test di sicurezza appropriati per il tuo caso d'uso.
- Sollecitare il feedback degli utenti e monitorare i contenuti.
Risorse aggiuntive per l'IA responsabile
- Scopri di più sull'IA responsabile per i modelli linguistici di grandi dimensioni (LLM).
- Scopri di più sui consigli di Google per le pratiche relative all'IA responsabile.
- Leggi il nostro blog, A shared Agenda for AI responsabile progressi
Fornisci un feedback su Imagen su Vertex AI
Se ricevi un output o una risposta imprecisi o che ritieni siano non sicuri, puoi comunicarcelo inviando un feedback. Il tuo un feedback può contribuire a migliorare Imagen su Vertex AI e l'impegno di Google nel campo dell'IA.
Poiché il feedback potrebbe essere leggibile, non inviare dati che contengono informazioni personali, riservate o sensibili.