Imagen su Vertex AI offre agli sviluppatori di applicazioni le funzionalità all'avanguardia di IA generativa di Google. Essendo una tecnologia ancora in fase iniziale, le sue capacità e i suoi utilizzi in evoluzione generano un potenziale di applicazioni errate, usi impropri e conseguenze non volute o impreviste. Ad esempio, Imagen su Vertex AI potrebbe generare output inaspettati, come immagini offensive, insensibili o sbagliate dal punto di vista del contesto.
Dati questi rischi e queste complessità, Imagen su Vertex AI è progettato tenendo presenti i principi dell'IA di Google. Tuttavia, è importante che gli sviluppatori comprendano e testino i propri modelli per metterli in produzione in modo sicuro e responsabile. Per aiutare gli sviluppatori, Imagen su Vertex AI ha filtri di sicurezza integrati per aiutare i clienti a bloccare le uscite potenzialmente dannose all'interno del loro caso d'uso. Per saperne di più, consulta la sezione relativa ai filtri di sicurezza.
Quando Imagen su Vertex AI viene integrato nel contesto e nel caso d'uso specifico di un cliente, potrebbero essere necessarie ulteriori considerazioni sull'AI responsabile e limitazioni dei modelli. Incoraggiamo i clienti a utilizzare le best practice consigliate per equità, interpretabilità, privacy e sicurezza.
Linee guida per l'utilizzo di Imagen
Prima di utilizzare Imagen su Vertex AI, leggi i seguenti attributi generali del prodotto e considerazioni legali.
- Filtri e output di immagini e testo: le immagini (generate o caricate) tramite Imagen su Vertex AI vengono valutate in base a filtri di sicurezza. L'obiettivo di Imagen è filtrare le immagini (generate o caricate) che violano le nostre Norme di utilizzo accettabile o ulteriori limitazioni dei prodotti di IA generativa. Inoltre, i nostri modelli di immagini generative hanno lo scopo di generare contenuti originali e non di replicare contenuti esistenti. Abbiamo progettato i nostri sistemi in modo da limitare le probabilità che ciò accada e continueremo a migliorarne il funzionamento. Come tutti i fornitori di servizi cloud, Google adotta Norme di utilizzo accettabile che vietano ai clienti di utilizzare i nostri servizi in modo da violare i diritti di proprietà intellettuale di terze parti.
- Generazione di persone ora supportata: questa funzionalità consente di generare volti sintetici fotorealistici, ma non supporta la generazione di celebrità. Tieni presente che in alcuni casi i volti sintetici possono assomigliare a persone reali. Se ritieni che questa funzionalità generi output sbagliati, segnalalo utilizzando il meccanismo di segnalazione di abusi indicato nella Panoramica dell'IA generativa su Vertex AI.
- Generare bambini:questa funzionalità consente a un gruppo selezionato di utenti approvati di generare volti sintetici e fotorealistici di bambini. Per richiedere la possibilità di utilizzare questa funzionalità, contatta il team dedicato all'account Google Cloud.
- Soglie di filtro di sicurezza configurabili:Google blocca le risposte del modello che superano i punteggi di confidenza designati per determinati attributi di sicurezza. Per richiedere la possibilità di modificare una soglia di sicurezza, contatta il team dedicato all'account Google Cloud.
- Aggiunta di testo supportata su alcune versioni del modello:
Imagen non supporta l'aggiunta di testo alle immagini (caricate o generate) utilizzando un prompt di testo quando si utilizzano le versioni del modello
imagegeneration@004o inferiori. - Segnala un presunto abuso: puoi segnalare un presunto abuso di Imagen su Vertex AI o qualsiasi output generato che contenga materiale inappropriato o informazioni imprecise utilizzando il modulo Segnala un presunto abuso su Google Cloud.
- Disattivazione del programma Trusted Tester: se in precedenza hai attivato la possibilità per Google di utilizzare i tuoi dati per migliorare i servizi di IA/ML pre-GA nell'ambito dei termini del programma Trusted Tester, puoi disattivare questa opzione utilizzando il modulo di richiesta di disattivazione del programma Trusted Tester.
Filtri di sicurezza
I prompt di testo forniti come input e le immagini (generate o caricate) tramite
Imagen su Vertex AI vengono valutati in base a un elenco di filtri di sicurezza, che
includono "categorie dannose" (ad esempio violence, sexual, derogatory,
e toxic).
Lo scopo di questi filtri di sicurezza è escludere i contenuti (generati o caricati) che
violano le nostre Norme relative all'utilizzo accettabile (AUP),
le Norme relative all'utilizzo vietato dell'IA generativa o i nostri
Principi dell'IA.
Se il modello risponde a una richiesta con un messaggio di errore come "Impossibile inviare il prompt" o"Potrebbe violare le nostre norme ", l'input attiva un filtro di sicurezza. Se vengono restituite meno immagini di quelle richieste, alcune output generate vengono bloccate perché non soddisfano i requisiti di sicurezza.
Puoi scegliere l'intensità con cui filtrare i contenuti sensibili modificando il parametrosafetySetting.
Attributi di sicurezza
Gli attributi e i filtri di sicurezza non hanno una relazione di mappatura uno a uno. Gli attributi di sicurezza sono l'insieme di attributi che restituiamo all'utente
quando è impostato includeSafetyAttributes. I filtri di sicurezza sono l'insieme di filtri che utilizziamo per filtrare i contenuti. Non applichiamo filtri a tutte le categorie di attributi di sicurezza. Ad esempio, per la categoria di attributi di sicurezza "Salute", non filtriamo i contenuti in base al punteggio di attendibilità per la salute. Inoltre, non mostriamo i punteggi di confidenza per alcuni dei nostri filtri di sicurezza sensibili interni.
Configurare i filtri di sicurezza
Esistono diversi parametri di filtro di sicurezza che puoi utilizzare con i modelli di generazione di immagini. Ad esempio, puoi consentire al modello di segnalare i codici di filtro di sicurezza per i contenuti bloccati, disattivare la generazione di persone o volti, regolare la sensibilità del filtro dei contenuti o restituire punteggi di sicurezza arrotondati dell'elenco di attributi di sicurezza per input e output. Per ulteriori informazioni tecniche sui singoli campi, consulta il riferimento all'API del modello di generazione di immagini.
La risposta varia a seconda dei parametri impostati. Alcuni parametri influiscono sui contenuti prodotti, mentre altri influiscono sul filtro dei contenuti e sulla modalità di generazione dei report sul filtro. Inoltre, il formato di output dipende dal fatto che i dati di input siano filtrati o se l'output dell'immagine generata sia filtrato.
Parametri che filtrano i contenuti
I seguenti parametri facoltativi influiscono sul filtro dei contenuti o sulla modalità di generazione dei report sul filtro:
safetySetting*: consente di impostare l'intensità del filtro per i contenuti di output potenzialmente sensibili.includeRaiReason: fornisce informazioni più dettagliate sull'output filtrato.personGeneration: un'impostazione che ti consente un maggiore controllo sulla generazione di persone, volti e bambini.disablePersonFace- Deprecato. La possibilità di consentire o meno la generazione di persone e volti. Gli utenti devono impostarepersonGeneration.includeSafetyAttributes: fornisce informazioni complete sugli attributi di sicurezza per il testo di input, l'immagine di input (da modificare) e tutte le immagini generate. Queste informazioni includono la categoria di sicurezza (ad esempio"Firearms & Weapons","Illicit Drugs"o"Violence") e i punteggi di attendibilità.
* Disponibile solo per il modello imagegeneration@006.
Input filtrato
Se l'input di testo o l'immagine di input (per la modifica) viene filtrato, ricevi una risposta con un codice di errore 400. Una richiesta con input filtrato da RAI restituisce questo formato di output se imposti includeRaiReason o includeSafetyAttributes.
L'output dipende dalla versione del modello utilizzata. Di seguito è riportato l'output quando l'input viene filtrato per versioni diverse del modello:
Modello
{ "error": { "code": 400, "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback." "status": "INVALID_ARGUMENT", "details": [ { "@type": "type.googleapis.com/google.rpc.DebugInfo", "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image editing failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. Support codes: 42876398\" }" } ] } }
Modelli
{ "error": { "code": 400, "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.", "status": "INVALID_ARGUMENT", "details": [ { "@type": "type.googleapis.com/google.rpc.DebugInfo", "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google\\'s Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }" } ] } }
Output filtrato
I contenuti dell'output filtrato variano a seconda del parametro RAI impostato.
I seguenti esempi di output mostrano il risultato dell'utilizzo dei parametri includeRaiReason
e includeSafetyAttributes.
Output filtrato utilizzando includeRaiReason
Se non aggiungi includeRaiReason o imposti includeRaiReason: false, la risposta include solo gli oggetti immagine generati che non sono filtrati. Eventuali oggetti immagine filtrati vengono omessi dall'array "predictions": []. Ad esempio, di seguito è riportata la risposta a una richiesta con "sampleCount": 4, ma due delle immagini sono filtrate e di conseguenza omesse:
{ "predictions": [ { "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=", "mimeType": "image/png" }, { "mimeType": "image/png", "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z" } ], "deployedModelId": "MODEL_ID" }
Se imposti includeRaiReason: true e più immagini di output vengono filtrate, la risposta include oggetti immagine generati e oggetti raiFilteredReason per tutte le immagini di output filtrate. Ad esempio, la seguente è una risposta a una richiesta con "sampleCount": 4 e includeRaiReason: true, ma due delle immagini sono filtrate. Di conseguenza, due oggetti includono informazioni sull'immagine generata e l'altro oggetto include un messaggio di errore.
Modello
{ "predictions": [ { "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=", "mimeType": "image/png" }, { "mimeType": "image/png", "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z" }, { "raiFilteredReason": "Your current safety filter threshold filtered out 2 generated images. You will not be charged for blocked images. Try rephrasing the prompt. If you think this was an error, send feedback." }, ], "deployedModelId": "MODEL_ID" }
Modelli
{ "predictions": [ { "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=", "mimeType": "image/png" }, { "mimeType": "image/png", "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z" }, { "raiFilteredReason": "56562880" }, { "raiFilteredReason": "56562880" } ], "deployedModelId": "MODEL_ID" }
Output filtrato utilizzando includeSafetyAttributes
Se imposti "includeSafetyAttributes": true, l'array "predictions": []
della risposta include i punteggi RAI (arrotondati a una virgola decimale) degli attributi di sicurezza del testo
del prompt positivo. Gli attributi relativi alla sicurezza delle immagini vengono aggiunti anche a ogni output non filtrato. Se un'immagine di output viene filtrata, i relativi attributi di sicurezza non vengono restituiti. Ad esempio, la seguente è una risposta a una richiesta non filtrata e viene restituita un'immagine:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png",
"safetyAttributes": {
"categories": [
"Porn",
"Violence"
],
"scores": [
0.1,
0.2
]
}
},
{
"contentType": "Positive Prompt",
"safetyAttributes": {
"categories": [
"Death, Harm & Tragedy",
"Firearms & Weapons",
"Hate",
"Health",
"Illicit Drugs",
"Politics",
"Porn",
"Religion & Belief",
"Toxic",
"Violence",
"Vulgarity",
"War & Conflict"
],
"scores": [
0,
0,
0,
0,
0,
0,
0.2,
0,
0.1,
0,
0.1,
0
]
}
},
],
"deployedModelId": "MODEL_ID"
}
Categorie di codici del filtro di sicurezza
A seconda dei filtri di sicurezza configurati, l'output potrebbe contenere un codice motivo di sicurezza simile al seguente:
{
"raiFilteredReason": "ERROR_MESSAGE. Support codes: 56562880""
}Il codice elencato corrisponde a una categoria dannosa specifica. Le seguenti sono le mappature del codice alle categorie:
| Codice di errore | Categoria di sicurezza | Descrizione | Contenuti filtrati: input del prompt o output immagine |
|---|---|---|---|
| 58061214 17301594 |
Figlio | Rileva i contenuti destinati ai bambini dove non sono consentiti a causa delle impostazioni di richiesta dell'API o della lista consentita. | input (prompt): 58061214 output (image): 17301594 |
| 29310472 15236754 |
Celebrity | Rileva una rappresentazione fotorealistica di una celebrità nella richiesta. | input (prompt): 29310472 output (image): 15236754 |
| 62263041 | Contenuti pericolosi | Rileva contenuti potenzialmente pericolosi. | input (prompt) |
| 57734940 22137204 |
Incitamento all'odio | Rileva argomenti o contenuti correlati all'odio. | input (prompt): 57734940 output (immagine): 22137204 |
| 74803281 29578790 42876398 |
Altro | Rileva altri problemi di sicurezza vari relativi alla richiesta | input (prompt): 42876398, output (image): 29578790, 74803281 |
| 39322892 | Persone/Volto | Rileva una persona o un volto quando non è consentito a causa delle impostazioni di sicurezza della richiesta. | output (immagine) |
| 92201652 | Informazioni personali | Rileva nel testo informazioni che consentono l'identificazione personale (PII), ad esempio la menzione di un numero di carta di credito, indirizzi di casa o altre informazioni simili. | input (prompt) |
| 89371032 49114662 72817394 |
Contenuti vietati | Rileva la richiesta di contenuti vietati nella richiesta. | input (prompt): 89371032 output (immagine): 49114662, 72817394 |
| 90789179 63429089 43188360 |
Contenuti di natura sessuale | Rileva contenuti di natura sessuale. | input (prompt): 90789179 output (immagine): 63429089, 43188360 |
| 78610348 | Contenuti tossici | Rileva argomenti o contenuti dannosi nel testo. | input (prompt) |
| 61493863 56562880 |
Violenza | Rileva contenuti correlati alla violenza dall'immagine o dal testo. | input (prompt): 61493863 output (immagine): 56562880 |
| 32635315 | Volgare | Rileva argomenti o contenuti volgari dal testo. | input (prompt) |
Limitazioni
I seguenti limiti si applicano a diverse attività:
Limitazioni alla generazione di immagini
- Ampliamento del bias: anche se Imagen su Vertex AI può generare immagini di alta qualità, potrebbero esserci potenziali bias nei contenuti generati. Le immagini generate si basano sui dati di addestramento del prodotto, che possono includere involontariamente bias che possono perpetuare stereotipi o discriminare determinati gruppi. Sono necessari un monitoraggio e una valutazione attenti per garantire che gli output siano in linea con le Norme di utilizzo accettabile di Google e con il tuo caso d'uso.
- Trasparenza e informativa: può essere difficile per gli utenti distinguere tra immagini generate con AI'IA e immagini non generate con l'IA. Quando utilizzi immagini create con l'AI nel tuo caso d'uso, è importante comunicare chiaramente agli utenti che le immagini sono state generate da un sistema di AI per garantire la trasparenza e mantenere la fiducia nel processo. Abbiamo applicato l'etichettatura dei metadati alle immagini create con AI per contribuire a contrastare il rischio di disinformazione e nell'ambito del nostro approccio responsabile all'AI.
- Contesto insufficiente: Imagen su Vertex AI potrebbe non avere la conoscenza contestuale necessaria per generare immagini appropriate per tutte le situazioni o tutti i segmenti di pubblico del tuo caso d'uso. Assicurati che le immagini generate siano in linea con il contesto, lo scopo e il pubblico di destinazione scelti.
Limitazioni alla modifica delle immagini
- Rappresentazione ingannevole e autenticità: la modifica delle immagini utilizzando Imagen su Vertex AI può comportare la rappresentazione ingannevole o la manipolazione delle immagini, con il potenziale rischio di creare contenuti ingannevoli o fuorvianti. È importante assicurarsi che il processo di modifica venga utilizzato in modo responsabile, senza compromettere l'autenticità e la veridicità delle immagini modificate. Abbiamo applicato l'etichettatura dei metadati alle immagini modificate con AI'IA per contribuire a combattere il rischio di disinformazione e nell'ambito del nostro approccio responsabile all&#AI.
Limitazioni delle didascalie visive
- Accuratezza e sensibilità al contesto: la descrizione codificata delle immagini potrebbe incontrare difficoltà nel descrivere con precisione immagini complesse o ambigue. Le descrizioni generate potrebbero non cogliere sempre il contesto completo o le sfumature dei contenuti visivi. È importante riconoscere che i sistemi di sottotitoli codificati automatici hanno limitazioni nella comprensione delle immagini con diversi livelli di complessità e che le relative descrizioni devono essere utilizzate con cautela, in particolare in contesti critici o sensibili.
- Ambiguità e interpretazioni soggettive: le immagini possono spesso essere soggette a più interpretazioni e le didascalie generate potrebbero non essere sempre in linea con la comprensione o le aspettative umane. Persone diverse possono percepire e descrivere le immagini in modo diverso in base alle loro esperienze soggettive e ai loro background culturali. È fondamentale tenere conto della potenziale ambiguità e soggettività nelle descrizioni delle immagini e fornire un contesto aggiuntivo o interpretazioni alternative, se necessario.
- Considerazioni sull'accessibilità: sebbene i sottotitoli codificati automatici possano supportare l'accessibilità fornendo descrizioni per le persone con disabilità visiva, è importante riconoscere che potrebbero non sostituire completamente i testi alternativi o le descrizioni personalizzate per specifiche esigenze di accessibilità create da persone. I sottotitoli codificati automatici potrebbero non avere il livello di dettaglio o la comprensione contestuale necessari per determinati casi d'uso di accessibilità.
Limitazioni di Visual Question Answering (VQA)
- Sovrastima e incertezza: a volte i modelli VQA possono fornire risposte con una sicurezza ingiustificata, anche quando la risposta corretta è incerta o ambigua. È essenziale comunicare l'incertezza del modello e fornire punteggi di confidenza appropriati o risposte alternative in caso di ambiguità, anziché trasmettere un falso senso di certezza.
Pratiche consigliate
Per utilizzare questa tecnologia in modo sicuro e responsabile, è importante anche considerare altri rischi specifici per il caso d'uso, gli utenti e il contesto aziendale, oltre alle salvaguardie tecniche integrate.
Ti consigliamo di seguire questi passaggi:
- Valuta i rischi per la sicurezza della tua applicazione.
- Valuta la possibilità di apportare modifiche per ridurre i rischi per la sicurezza.
- Esegui test di sicurezza appropriati al tuo caso d'uso.
- Richiedi il feedback degli utenti e monitora i contenuti.
Altre risorse sull'IA responsabile
- Scopri di più sull'IA responsabile per i modelli linguistici di grandi dimensioni (LLM).
- Scopri di più sui consigli di Google per le pratiche di IA responsabile.
- Leggi il nostro blog Un'agenda condivisa per AI responsabile responsabile
Inviare un feedback su Imagen su Vertex AI
Se ricevi un output o una risposta imprecisa o che ritieni non sicura, puoi comunicarcelo inviando un feedback. Il tuo feedback può contribuire a migliorare Imagen su Vertex AI e l'impegno di Google nel campo dell'IA.
Poiché il feedback potrebbe essere leggibile da una persona, non inviare dati contenenti informazioni personali, riservate o sensibili.