Imagen su Vertex AI offre le funzionalità di IA generativa all'avanguardia di Google agli sviluppatori di applicazioni. Essendo una tecnologia ancora in fase iniziale, le sue capacità e i suoi utilizzi in evoluzione generano un potenziale di applicazioni errate, usi impropri e conseguenze non volute o impreviste. Ad esempio, Imagen su Vertex AI potrebbe generare output inaspettati, come immagini offensive, insensibili o sbagliate dal punto di vista del contesto.
Dati questi rischi e complessità, Imagen su Vertex AI è progettato secondo i principi dell'IA di Google. Tuttavia, è importante che gli sviluppatori comprendano e testano i loro modelli per di implementarle in modo sicuro e responsabile. Per aiutare gli sviluppatori, Imagen su Vertex AI ha filtri di sicurezza integrati per aiutare i clienti a bloccare output potenzialmente dannosi all'interno del loro caso d'uso. Consulta la sezione relativa ai filtri di sicurezza per saperne di più.
Quando Imagen su Vertex AI viene integrato nel contesto e nel caso d'uso specifico di un cliente, potrebbero essere necessarie ulteriori considerazioni sull'IA responsabile e limitazioni dei modelli. Incoraggiamo i clienti a utilizzare le best practice consigliate per equità, interpretabilità, privacy e sicurezza.
Linee guida per l'utilizzo di Imagen
Prima di utilizzare Imagen su Vertex AI, leggi i seguenti attributi generali del prodotto e considerazioni legali.
- Filtri e output di immagini e testo: le immagini (generate o caricate) tramite Imagen su Vertex AI vengono valutate in base a filtri di sicurezza. L'obiettivo di Imagen è filtrare le immagini (generate o caricate) che violano le nostre Norme di utilizzo accettabile o ulteriori limitazioni dei prodotti di IA generativa. Inoltre, i nostri modelli di immagini generative hanno lo scopo di generare contenuti originali e non di replicare contenuti esistenti. Abbiamo progettato i nostri sistemi in modo da limitare le probabilità che ciò accada e continueremo a migliorarne il funzionamento. Come tutti i provider di servizi cloud, Google ha adottato Norme di utilizzo accettabile che vietano ai clienti di utilizzare le nostre che violano i diritti IP di terze parti.
- Generazione di persone ora supportata: questa funzionalità consente di generare volti sintetici fotorealistici, ma non supporta la generazione di celebrità. Tieni presente che in alcuni casi i volti sintetici possono assomigliare a persone reali. Se ritieni che questa caratteristica stia generando non è corretto, segnalalo utilizzando il meccanismo di segnalazione dei comportamenti illeciti menzionata in Panoramica dell'AI generativa su Vertex per l'IA.
- Generazione di bambini:questa funzionalità consente a utenti selezionati approvati per creare volti sintetici e fotorealistici dei bambini. Per richiedere il di utilizzare questa funzionalità, contatta il team dedicato all'account Google Cloud.
- Soglie di filtro di sicurezza configurabili: Google blocca le risposte del modello che superano i punteggi di confidenza designati per determinati attributi di sicurezza. Per richiedere la possibilità di modificare una soglia di sicurezza, contatta il team dedicato all'account Google Cloud.
- Aggiunta di testo supportata su alcune versioni del modello:
Imagen non supporta l'aggiunta di testo alle immagini (caricate
o generati) utilizzando un prompt di testo quando si utilizza
imagegeneration@004o versioni precedenti del modello. - Segnala un presunto abuso: puoi segnalare un presunto abuso di Imagen su Vertex AI o qualsiasi output generato che contenga materiale inappropriato o informazioni imprecise utilizzando il modulo Segnala un presunto abuso su Google Cloud.
- Disattivazione del programma Trusted Tester: se in precedenza hai consentito a Google di utilizzare i tuoi dati. per migliorare i servizi di IA/ML pre-GA nell'ambito dei termini del programma Trusted Tester, puoi disattivare utilizzando Programma Trusted Tester - Modulo di richiesta di non partecipazione.
Filtri di sicurezza
I prompt di testo forniti come input e le immagini (generate o caricate) tramite
Imagen su Vertex AI vengono valutati in base a un elenco di filtri di sicurezza, che
includono "categorie dannose" (ad esempio violence, sexual, derogatory,
e toxic).
Lo scopo di questi filtri di sicurezza è filtrare i contenuti (generati o caricati) che
violano le nostre Norme relative all'utilizzo accettabile (AUP),
le Norme relative all'utilizzo vietato dell'IA generativa o i nostri
Principi dell'IA.
Se il modello risponde a una richiesta con un messaggio di errore come "Il prompt impossibile inviare" o "potrebbe violare le nostre norme", l'input viene l'attivazione di un filtro sicurezza. Se vengono restituite meno immagini di quelle richieste, alcune output generate vengono bloccate perché non soddisfano i requisiti di sicurezza.
Puoi scegliere l'intensità con cui filtrare i contenuti sensibili modificando il parametrosafetySetting.
Attributi di sicurezza
Gli attributi e i filtri di sicurezza non hanno una relazione di mappatura uno a uno. Gli attributi di sicurezza sono l'insieme di attributi che restituiamo all'utente
quando includeSafetyAttributes è impostato. I filtri di sicurezza sono l'insieme di filtri che utilizziamo per filtrare i contenuti. Non applichiamo filtri in base a tutte le categorie degli attributi sicurezza. Per
Ad esempio, per la categoria dell'attributo sicurezza "Salute", non filtriamo i contenuti.
in base al punteggio di confidenza dell'integrità. Inoltre, non mostriamo i punteggi di confidenza per alcuni dei nostri filtri di sicurezza sensibili interni.
Configurare i filtri di sicurezza
Esistono diversi parametri di filtro di sicurezza che puoi utilizzare con i modelli di generazione di immagini. Ad esempio, puoi consentire al modello di generare report sulla sicurezza codici per i contenuti bloccati, disattivare la generazione di volti o di persone, modificare sensibilità del filtro dei contenuti o restituire punteggi di sicurezza arrotondati dell'elenco di attributi di sicurezza per input e output. Per informazioni più tecniche sui singoli campi, consulta Riferimento API per il modello di generazione delle immagini.
La risposta varia in base ai parametri impostati. alcuni parametri influiscono sui contenuti prodotti, mentre altri influiscono sul filtro dei contenuti e sul modo che ti viene segnalato. Inoltre, il formato di output dipende dal fatto che vengono filtrati i dati di input o l'output dell'immagine generata viene filtrato.
Parametri che filtrano i contenuti
I seguenti parametri facoltativi influiscono sul filtro dei contenuti o sulla modalità di generazione dei report sul filtro:
safetySetting*: consente di impostare l'intensità del filtro per i contenuti di output potenzialmente sensibili.includeRaiReason: fornisce informazioni più dettagliate sull'output filtrato.personGeneration- Un'impostazione che consente di avere un maggiore controllo sulle generazione di persone, volti e bambini.disablePersonFace- Deprecato. La scelta di permettere ai volti della persona o meno. Gli utenti devono invece impostarepersonGeneration.includeSafetyAttributes: fornisce informazioni complete sull'attributo sicurezza per testo di input, immagine di input (per la modifica) e tutte le immagini generate. Questo includono la categoria di sicurezza (ad esempio,"Firearms & Weapons","Illicit Drugs"o"Violence") e i punteggi di confidenza.
* Disponibile solo per il modello imagegeneration@006.
Input filtrato
Se l'input di testo o l'immagine di input (per la modifica) viene filtrato, ricevi una risposta con un codice di errore 400. Una richiesta con input filtrato da RAI restituisce questo formato di output se imposti includeRaiReason o includeSafetyAttributes.
L'output dipende dalla versione del modello utilizzata. Di seguito viene mostrato l'output quando l'input viene filtrato in base alle diverse versioni del modello:
Modello
{ "error": { "code": 400, "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback." "status": "INVALID_ARGUMENT", "details": [ { "@type": "type.googleapis.com/google.rpc.DebugInfo", "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image editing failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. Support codes: 42876398\" }" } ] } }
Modelli
{ "error": { "code": 400, "message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.", "status": "INVALID_ARGUMENT", "details": [ { "@type": "type.googleapis.com/google.rpc.DebugInfo", "detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google\\'s Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }" } ] } }
Output filtrato
I contenuti dell'output filtrato variano in base al parametro RAI impostato.
I seguenti esempi di output mostrano il risultato dell'utilizzo dei parametri includeRaiReason
e includeSafetyAttributes.
Output filtrato utilizzando includeRaiReason
Se non aggiungi includeRaiReason o imposti includeRaiReason: false, la risposta include solo gli oggetti immagine generati non filtrati. Qualsiasi
oggetti immagine filtrati vengono omessi dall'array "predictions": []. Ad esempio, di seguito è riportata la risposta a una richiesta con "sampleCount": 4, ma due delle immagini sono filtrate e di conseguenza omesse:
{ "predictions": [ { "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=", "mimeType": "image/png" }, { "mimeType": "image/png", "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z" } ], "deployedModelId": "MODEL_ID" }
Se imposti includeRaiReason: true e diverse immagini di output vengono filtrate, le
la risposta include oggetti immagine generati e raiFilteredReason oggetti per
a qualsiasi immagine di output filtrata. Ad esempio, la seguente è una risposta a una richiesta con "sampleCount": 4 e includeRaiReason: true, ma due delle immagini sono filtrate. Di conseguenza, due oggetti includono informazioni sull'immagine generata e l'altro oggetto include un messaggio di errore.
Modello
{ "predictions": [ { "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=", "mimeType": "image/png" }, { "mimeType": "image/png", "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z" }, { "raiFilteredReason": "Your current safety filter threshold filtered out 2 generated images. You will not be charged for blocked images. Try rephrasing the prompt. If you think this was an error, send feedback." }, ], "deployedModelId": "MODEL_ID" }
Modelli
{ "predictions": [ { "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=", "mimeType": "image/png" }, { "mimeType": "image/png", "bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z" }, { "raiFilteredReason": "56562880" }, { "raiFilteredReason": "56562880" } ], "deployedModelId": "MODEL_ID" }
Output filtrato utilizzando includeSafetyAttributes
Se imposti "includeSafetyAttributes": true, la risposta "predictions": []
include i punteggi RAI (arrotondati al punto decimale) della sicurezza del testo
gli attributi del prompt positivo. La sicurezza dell'immagine
vengono aggiunti a ogni output non filtrato. Se un'immagine di output viene filtrata, i relativi attributi di sicurezza non vengono restituiti. Ad esempio, di seguito è riportato un
a una richiesta senza filtri e viene restituita un'immagine:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png",
"safetyAttributes": {
"categories": [
"Porn",
"Violence"
],
"scores": [
0.1,
0.2
]
}
},
{
"contentType": "Positive Prompt",
"safetyAttributes": {
"categories": [
"Death, Harm & Tragedy",
"Firearms & Weapons",
"Hate",
"Health",
"Illicit Drugs",
"Politics",
"Porn",
"Religion & Belief",
"Toxic",
"Violence",
"Vulgarity",
"War & Conflict"
],
"scores": [
0,
0,
0,
0,
0,
0,
0.2,
0,
0.1,
0,
0.1,
0
]
}
},
],
"deployedModelId": "MODEL_ID"
}
Categorie di codici dei filtri di sicurezza
A seconda dei filtri di sicurezza configurati, l'output potrebbe contenere un simile al seguente:
{
"raiFilteredReason": "ERROR_MESSAGE. Support codes: 56562880""
}Il codice elencato corrisponde a una categoria dannosa specifica. Questi codici le mappature delle categorie sono le seguenti:
| Codice di errore | Categoria di sicurezza | Descrizione | Contenuti filtrati: input del prompt o output di immagini |
|---|---|---|---|
| 58061214 17301594 |
Figlio | Rileva i contenuti secondari dove non è consentito a causa delle impostazioni delle richieste API o dell'inserimento nella lista consentita. | input (prompt): 58061214 output (image): 17301594 |
| 29310472 15236754 |
Celebrity | Rileva una rappresentazione fotorealistica di una celebrità nella richiesta. | input (messaggio): 29310472 output (immagine): 15236754 |
| 62263041 | Contenuti pericolosi | Rileva contenuti potenzialmente pericolosi. | input (prompt) |
| 57734940 22137204 |
Incitamento all'odio | Rileva argomenti o contenuti che incitano all'odio. | input (messaggio): 57734940 output (immagine): 22137204 |
| 74803281 29578790 42876398 |
Altro | Rileva altri problemi di sicurezza vari relativi alla richiesta | ingresso (messaggio): 42876398, output (immagine): 29578790, 74803281 |
| 39322892 | Persone/Volto | Rileva una persona o un volto quando non è consentito a causa delle impostazioni di sicurezza della richiesta. | output (immagine) |
| 92201652 | Informazioni personali | Rileva le informazioni che consentono l'identificazione personale (PII) nel testo, ad esempio la menzione del numero di carta di credito, dell'indirizzo di casa o di altre informazioni di questo genere. | input (messaggio) |
| 89371032 49114662 72817394 |
Contenuti vietati | Rileva la richiesta di contenuti vietati nella richiesta. | input (messaggio): 89371032 output (immagine): 49114662, 72817394 |
| 90789179 63429089 43188360 |
Contenuti di natura sessuale | Rileva contenuti di natura sessuale. | input (prompt): 90789179 output (immagine): 63429089, 43188360 |
| 78610348 | Contenuti tossici | Rileva argomenti o contenuti tossici nel testo. | input (prompt) |
| 61493863 56562880 |
Violenza | Rileva contenuti correlati alla violenza dall'immagine o dal testo. | input (prompt): 61493863 output (immagine): 56562880 |
| 32635315 | Volgare | Rileva argomenti o contenuti volgari dal testo. | input (prompt) |
Limitazioni
I seguenti limiti si applicano a diverse attività:
Limitazioni alla generazione di immagini
- Amplificazione del bias: anche se Imagen su Vertex AI è in grado di generare immagini, potrebbero esserci dei potenziali bias nei contenuti generati. Immagini generati si basano sui dati di addestramento del prodotto, cosa che può involontariamente includono bias che possono perpetuare stereotipi o discriminare determinati gruppi. Sono necessari un monitoraggio e una valutazione attenti per garantire che gli output siano in linea con le Norme di utilizzo accettabile di Google e con il tuo caso d'uso.
- Trasparenza e informativa: per gli utenti può essere difficile distinguere le immagini generate con l'IA da quelle non generate con l'IA. Quando utilizzi immagini create con l'IA nel tuo caso d'uso, è importante comunicare chiaramente agli utenti che le immagini sono state generate da un sistema di IA per garantire trasparenza e mantenere la fiducia nel processo. Abbiamo applicato l'etichettatura dei metadati alle immagini create con l'IA per contribuire a contrastare il rischio di disinformazione e nell'ambito del nostro approccio responsabile all'IA.
- Contesto insufficiente: Imagen su Vertex AI potrebbe non avere la conoscenza contestuale necessaria per generare immagini appropriate per tutte le situazioni o tutti i segmenti di pubblico del tuo caso d'uso. Assicurati di controllare le immagini generate sono in linea con il contesto, lo scopo e le intenzioni pubblico.
Limitazioni alla modifica delle immagini
- Rappresentazione ingannevole e autenticità: la modifica delle immagini utilizzando Imagen su Vertex AI può comportare la rappresentazione ingannevole o la manipolazione delle immagini, con il potenziale rischio di creare contenuti ingannevoli o fuorvianti. È importante assicurarsi che la procedura di modifica venga utilizzata in modo responsabile, senza compromettere l'autenticità e la veridicità delle immagini modificate. Abbiamo applicato l'etichettatura dei metadati alle immagini modificate con AI per aiutarti combattere il rischio di disinformazione e, nell'ambito del nostro approccio responsabile alla per AI responsabile.
Limitazioni delle didascalie visive
- Accuratezza e sensibilità al contesto: la descrizione codificata visiva potrebbe riscontrare difficoltà nel descrivere con precisione immagini complesse o ambigue. La le descrizioni generate non sempre coprono il contesto completo ogni sfumatura dei contenuti visivi. È importante riconoscere che i sistemi di sottotitoli codificati automatici hanno limitazioni nella comprensione delle immagini con diversi livelli di complessità e che le relative descrizioni devono essere utilizzate con cautela, in particolare in contesti critici o sensibili.
- Ambiguità e interpretazioni soggettive: le immagini possono spesso essere aperte a interpretazioni multiple e i sottotitoli generati potrebbero non essere sempre allineati con la comprensione o le aspettative umane. Persone diverse possono percepire e descrivere le immagini in modo diverso in base alle loro esperienze soggettive e ai loro background culturali. È fondamentale tenere conto della potenziale ambiguità e soggettività nelle descrizioni delle immagini e fornire un contesto aggiuntivo o interpretazioni alternative, se necessario.
- Considerazioni sull'accessibilità: sebbene i sottotitoli codificati automatici possano supportare l'accessibilità fornendo descrizioni per le persone con disabilità visiva, è importante riconoscere che potrebbero non sostituire completamente i testi alternativi o le descrizioni personalizzate per specifiche esigenze di accessibilità create da persone. Automatizzata i sottotitoli codificati potrebbero non disporre del livello di dettaglio o di comprensione del contesto necessario per alcuni casi d'uso relativi all'accessibilità.
Limitazioni di Visual Question Answering (VQA)
- Sovrastima e incertezza: a volte i modelli VQA possono fornire risposte con una sicurezza ingiustificata, anche quando la risposta corretta è incerta o ambigua. È essenziale comunicare l'incertezza del modello e fornire punteggi di confidenza appropriati o risposte alternative in caso di ambiguità, anziché trasmettere un falso senso di certezza.
Pratiche consigliate
Per utilizzare questa tecnologia in modo sicuro e responsabile, è importante anche considerare altri rischi specifici per il caso d'uso, gli utenti e il contesto aziendale, oltre alle salvaguardie tecniche integrate.
Ti consigliamo di procedere nel seguente modo:
- Valuta i rischi per la sicurezza della tua applicazione.
- Valuta la possibilità di apportare modifiche per mitigare i rischi per la sicurezza.
- Esegui test di sicurezza appropriati al tuo caso d'uso.
- Richiedi il feedback degli utenti e monitora i contenuti.
Altre risorse sull'IA responsabile
- Scopri di più sull'IA responsabile per i modelli linguistici di grandi dimensioni (LLM).
- Scopri di più sui consigli di Google per le pratiche relative all'IA responsabile.
- Leggi il nostro blog Un'agenda condivisa per il progresso dell'IA responsabile
Fornisci un feedback su Imagen su Vertex AI
Se ricevi un output o una risposta imprecisa o che ritieni non sicura, puoi comunicarcelo inviando un feedback. Il tuo un feedback può contribuire a migliorare Imagen su Vertex AI e l'impegno di Google nel campo dell'IA.
Poiché il feedback potrebbe essere leggibile da una persona, non inviare dati contenenti informazioni personali, riservate o sensibili.