Imagen in Vertex AI bringt Anwendungsentwicklern die hochmodernen Generative AI-Funktionen von Google. Als frühe früheste Technologie entwickelt Imagen in den sich weiterentwickelnden Vertex KI-Funktionen Möglichkeiten für Fehlanwendungen, Missbrauch sowie unbeabsichtigte oder unvorhergesehene Folgen. Beispielsweise kann Imagen auf Vertex AI zu unerwarteten Ausgaben führen, z. B. zu anstößigen, unempfindlichen oder kontextbezogene Images.
Angesichts dieser Risiken und Komplexitäten wurde Imagen on Vertex AI unter Berücksichtigung der KI-Grundsätze von Google entwickelt. Es ist jedoch wichtig, dass Entwickler ihre Modelle verstehen und testen, um sie sicher und verantwortungsvoll bereitstellen zu können. Zur Unterstützung von Entwicklern verfügt Imagen on Vertex AI über integrierte Sicherheitsfilter, mit denen Kunden potenziell schädliche Ausgaben innerhalb ihres Anwendungsfalls blockieren können. Weitere Informationen finden Sie im Abschnitt Sicherheitsfilter.
Wenn Imagen on Vertex AI in den individuellen Anwendungsfall und Kontext eines Kunden eingebunden wird, müssen zusätzliche Überlegungen im Hinblick auf die verantwortungsbewusste Anwendung von KI und Modelleinschränkungen berücksichtigt werden. Wir empfehlen unseren Kunden, empfohlene Vorgehensweisen bei Fairness, Interpretierbarkeit, Datenschutz und Sicherheit zu nutzen.
Sicherheitsfilter
Text-Prompts, die als Eingaben und Bilder von Imagen in Vertex AI bereitgestellt wurden (generiert oder hochgeladen), werden anhand einer Liste von Sicherheitsfiltern bewertet, die „schädliche Kategorien“ enthalten (z. B.violence ,sexual ,derogatory und toxic). Diese Sicherheitsfilter dienen dazu, (generierte oder hochgeladene) Inhalte herauszufiltern, die gegen unsere Richtlinien zur zulässigen Verwendung (Acceptable Use Policy, AUP), Richtlinie für verbotene Nutzung generativer KI oder unsere KI-Prinzipien verstoßen.
Wenn das Modell auf eine Anfrage mit einer Fehlermeldung wie „Der Prompt konnte nicht gesendet werden“ oder „Es könnte gegen unsere Richtlinien verstoßen“ reagiert, löst die Eingabe einen Sicherheitsfilter aus. Wenn weniger Bilder als angefordert zurückgegeben werden, werden generierte Ausgaben blockiert, weil sie die Sicherheitsanforderungen nicht erfüllen.
Sie können festlegen, wie aggressiv sensible Inhalte gefiltert werden sollen, indem Sie die safetySetting-Parameter anpassen.
Sicherheitsattribute
Für Sicherheitsattribute und Sicherheitsfilter gibt es keine 1:1-Zuordnung. Sicherheitsattribute sind die Attribute, die wir dem Nutzer zurückgeben, wenn includeSafetyAttributes festgelegt ist. Sicherheitsfilter sind die Filter, mit denen wir Inhalte filtern. Es werden nicht alle Kategorien von Sicherheitsattributen gefiltert. Bei der Sicherheitsattributkategorie „Gesundheit“ filtern wir z. B. keine Inhalte auf Basis des Integritätskonfidenzwerts. Außerdem werden Konfidenzwerte einiger unserer internen sensiblen Sicherheitsfilter nicht preisgegeben.
Sicherheitsfilter konfigurieren
Es gibt mehrere Sicherheitsfilter-Parameter, die Sie mit dem imagegeneration-Modell verwenden können. Sie können das Modell beispielsweise Sicherheitsfiltercodes für blockierte Inhalte melden lassen, die Erstellung von Personen oder Gesichtern deaktivieren, die Empfindlichkeit der Inhaltsfilterung anpassen oder gerundete Sicherheitspunktzahlen von Listen von Sicherheitsattributen für die Eingabe und Ausgabe zurückgeben. Technische Informationen zu einzelnen Feldern finden Sie in der API-Referenz des imagegeneration-Modells.
Die Antwort hängt davon ab, welche Parameter Sie festgelegt haben. Einige Parameter wirken sich auf den generierten Inhalt aus, während andere die Inhaltsfilterung und die Art der Filterung beeinflussen. Das Ausgabeformat hängt davon ab, ob die Eingabedaten gefiltert werden oder ob die generierte Bildausgabe gefiltert wird.
Parameter, die Inhalte filtern
Die folgenden optionalen Parameter wirken sich auf die Filterung von Inhalten und die Art der Filterung aus:
safetySetting*: Hiermit können Sie festlegen, wie aggressiv nach potenziell vertraulichen Ausgabeinhalten gefiltert werden soll.includeRaiReason- Liefert ausführlichere Informationen zur gefilterten Ausgabe.personGeneration- Eine Einstellung, die Ihnen mehr Kontrolle über die Generierung von Personen, Gesichtern und Kindern ermöglicht.disablePersonFace- Eingestellte Funktion. Option, um die Generierung von Personen und Gesichtern zuzulassen oder nicht. Nutzer sollten stattdessenpersonGenerationfestlegen.includeSafetyAttributes– liefert Ihnen vollständige Sicherheitsattributinformationen für den Eingabetext, das Eingabebild (zum Bearbeiten) und alle generierten Bilder. Diese Informationen enthalten die Sicherheitskategorie (z. B."Firearms & Weapons","Illicit Drugs"oder"Violence") und die Konfidenzwerte.
* Nur für das Modell imagegeneration@006 verfügbar.
Gefilterte Eingabe
Wenn die Texteingabe oder das Eingabebild (zum Bearbeiten) gefiltert wird, erhalten Sie eine Antwort mit dem Fehlercode 400. Eine Anfrage mit RAI-gefilterter Eingabe gibt dieses Ausgabeformat zurück, wenn Sie entweder includeRaiReason oder includeSafetyAttributes festlegen.
Die Ausgabe hängt von der verwendeten Modellversion ab. Im Folgenden sehen Sie die Ausgabe, wenn die Eingabe für verschiedene Modellversionen gefiltert wird:
Modell
{
"error": {
"code": 400,
"message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback."
"status": "INVALID_ARGUMENT",
"details": [
{
"@type": "type.googleapis.com/google.rpc.DebugInfo",
"detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image editing failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }"
}
]
}
}
Modelle
{
"error": {
"code": 400,
"message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.",
"status": "INVALID_ARGUMENT",
"details": [
{
"@type": "type.googleapis.com/google.rpc.DebugInfo",
"detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google\\'s Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }"
}
]
}
}
Gefilterte Ausgabe
Der Inhalt der gefilterten Ausgabe hängt vom festgelegten RAI-Parameter ab.
Die folgenden Ausgabebeispiele zeigen das Ergebnis der Verwendung der Parameter includeRaiReason und includeSafetyAttributes.
Mit includeRaiReason gefilterte Ausgabe
Wenn Sie includeRaiReason nicht hinzufügen oder includeRaiReason: false nicht festlegen, enthält die Antwort nur generierte Bildobjekte, die nicht gefiltert sind. Gefilterte Bildobjekte werden im Array "predictions": [] ausgelassen. Das folgende Beispiel zeigt eine Antwort auf eine Anfrage mit "sampleCount": 4, die beiden Bilder werden jedoch gefiltert und dementsprechend ausgelassen:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
}
],
"deployedModelId": "MODEL_ID"
}
Wenn Sie includeRaiReason: true festlegen und mehrere Ausgabebilder gefiltert werden, enthält die Antwort generierte Bildobjekte und raiFilteredReason-Objekte für alle gefilterten Ausgabebilder. Das folgende Beispiel zeigt eine Antwort auf eine Anfrage mit "sampleCount": 4 und includeRaiReason: true, die beiden Bilder werden jedoch gefiltert. Daher enthalten zwei Objekte generierte Bildinformationen und das andere Objekt enthält eine Fehlermeldung.
Modell
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
},
{
"raiFilteredReason": "Your current safety filter threshold filtered out 2 generated images. You will not be charged for blocked images. Try rephrasing the prompt. If you think this was an error, send feedback."
},
],
"deployedModelId": "MODEL_ID"
}
Modelle
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
},
{
"raiFilteredReason": "56562880"
},
{
"raiFilteredReason": "56562880"
}
],
"deployedModelId": "MODEL_ID"
}
Mit includeSafetyAttributes gefilterte Ausgabe
Wenn Sie "includeSafetyAttributes": true festlegen, enthält das Antwort-Array "predictions": [] die RAI-Bewertungen (gerundet auf eine Dezimalstelle) für die Textsicherheitsattribute der positiven Eingabeaufforderung. Die Bild-Sicherheitsattribute werden ebenfalls jeder ungefilterten Ausgabe hinzugefügt. Wenn ein Ausgabebild gefiltert wird, werden seine Sicherheitsattribute nicht zurückgegeben. Das folgende Beispiel zeigt eine Antwort auf eine ungefilterte Anfrage, und ein Bild wird zurückgegeben:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png",
"safetyAttributes": {
"categories": [
"Porn",
"Violence"
],
"scores": [
0.1,
0.2
]
}
},
{
"contentType": "Positive Prompt",
"safetyAttributes": {
"categories": [
"Death, Harm & Tragedy",
"Firearms & Weapons",
"Hate",
"Health",
"Illicit Drugs",
"Politics",
"Porn",
"Religion & Belief",
"Toxic",
"Violence",
"Vulgarity",
"War & Conflict"
],
"scores": [
0,
0,
0,
0,
0,
0,
0.2,
0,
0.1,
0,
0.1,
0
]
}
},
],
"deployedModelId": "MODEL_ID"
}
Beschränkungen
Die folgenden Limits gelten für unterschiedliche Aufgaben:
Einschränkungen für die Bildgenerierung
- Verzerrungsverstärkung: Während Imagen in Vertex AI hochwertige Bilder generieren kann, kann es bei den generierten Inhalten zu Verzerrungen kommen. Generierte Bilder basieren auf den Trainingsdaten des Produkts, was ungewollt Voreingenommenheiten beinhalten kann, die Stereotypen fördern oder bestimmte Gruppen diskriminieren könnten. Eine sorgfältige Überwachung und Bewertung ist daher erforderlich, um sicherzustellen, dass die Ausgaben den Richtlinien zur zulässigen Verwendung von Google und Ihrem Anwendungsfall entsprechen.
- Transparenz und Offenlegung: Für Nutzer kann es schwierig sein zwischen KI-generierten und nicht KI-generierten Bildern zu unterscheiden. Wenn Sie in Ihrem Anwendungsfall KI-generierte Bilder verwenden, ist es wichtig, Nutzern deutlich mitzuteilen, dass die Bilder von einem KI-System generiert wurden, um Transparenz zu gewährleisten und das Vertrauen in den Prozess aufrechtzuerhalten. Wir haben die von der KI erstellten Bilder mit Metadaten versehen, um das Risiko von Fehlinformationen zu bekämpfen. Dies geschieht als Teil unseres verantwortungsbewussten Ansatzes für KI.
- Unzureichender Kontext: Imagen on Vertex AI fehlt möglicherweise das kontextuelle Verständnis, um Bilder zu generieren, die für alle Situationen oder Zielgruppen Ihres Anwendungsfalls angemessen sind. Überprüfen Sie auf jeden Fall, dass Ihre generierten Bilder zu dem von Ihnen gewählten Kontext, Zweck und der Zielgruppe passen.
Einschränkungen für die Bildbearbeitung
- Falschdarstellung und Authentizität: Die Bearbeitung von Bildern mit Imagen in Vertex AI kann zu einer Falschdarstellung oder Manipulation von Bildern führen, was potenziell zu irreführenden oder irreführenden Inhalten führen kann. Es ist wichtig, dass der Bearbeitungsprozess verantwortungsvoll verwendet wird, ohne die Authentizität und Wahrhaftigkeit der bearbeiteten Bilder zu beeinträchtigen. Wir haben die von der KI bearbeiteten Bilder mit Metadaten versehen, um das Risiko von Fehlinformationen zu bekämpfen. Dies geschieht als Teil unseres verantwortungsbewussten Ansatzes für KI.
Einschränkungen für visuelle Untertitel
- Genauigkeit und Kontextempfindlichkeit: Visuelle Untertitelungen können bei der genauen Beschreibung komplexer oder mehrdeutiger Bilder schwierig sein. Die generierten Beschreibungen erfassen möglicherweise nicht immer den gesamten Kontext oder die Nuancen visueller Inhalte. Es ist daher wichtig anzuerkennen, dass automatisierte Untertitelsysteme Beschränkungen haben hinsichtlich ihres Verständnisses von Bildern mit unterschiedlich starker Komplexität und dass ihre Beschreibungen mit Vorsicht verwendet werden sollten, insbesondere in kritischen oder sensiblen Kontexten.
- Mehrdeutigkeit und subjektive Interpretationen: Bilder können oft für mehrere Interpretationen offen sein und die generierten Untertitel entsprechen möglicherweise nicht immer dem menschlichen Verständnis oder deren Erwartungen. Basierend auf ihren subjektiven Erfahrungen und kulturellen Hintergründen nehmen unterschiedliche Personen die Bilder anders wahr und beschreiben diese unterschiedlich. Es ist wichtig, das Potenzial für Ambiguität und Subjektivität von Bildbeschreibungen zu berücksichtigen und bei Bedarf zusätzlichen Kontext oder alternative Interpretationen bereitzustellen.
- Überlegungen zur Barrierefreiheit: Automatische Bilduntertitel können die Barrierefreiheit durch Beschreibungen für sehbehinderte Personen unterstützen. Sie sollten jedoch beachten, dass sie vom Menschen generierte Alt-Texte oder Beschreibungen, die auf bestimmte Barrierefreiheitsanforderungen zugeschnitten sind, möglicherweise nicht vollständig ersetzen. Automatischen Untertiteln fehlt es möglicherweise an Detailliertheit und dem nötigen Kontextverständnis für bestimmte Anwendungsfälle der Barrierefreiheit.
Einschränkungen für „Visual Question Answering“ (VQA)
- Überflüssigkeit und Unsicherheit: VQA-Modelle können manchmal Antworten mit unbefugter Konfidenz liefern, auch wenn die richtige Antwort unsicher oder mehrdeutig ist. Es ist wichtig, im Fall von Mehrdeutigkeit die Unsicherheit des Modells zu kommunizieren und angemessene Konfidenzwerte oder alternative Antworten bereitzustellen, statt ein falsches Gefühl von Gewissheit zu vermitteln.
Empfohlene Vorgehensweisen
Um diese Technologie sicher und verantwortungsvoll zu nutzen, ist es wichtig, neben den integrierten technischen Sicherheitsmaßnahmen weitere Risiken zu berücksichtigen, die für Anwendungsfall, Nutzer und Geschäftskontext spezifisch sind.
Wir empfehlen Folgendes:
- Bewerten Sie die Sicherheitsrisiken Ihrer Anwendung.
- Passen Sie Anpassungen an, um Sicherheitsrisiken zu minimieren.
- Führen Sie für Ihren Anwendungsfall geeignete Sicherheitstests durch.
- Holen Sie Nutzerfeedback ein und überwachen Sie Inhalte.
Weitere Ressourcen
- Weitere Informationen zu verantwortungsbewussten KI für Large Language Models (LLMs)
- Weitere Informationen zu den Empfehlungen von Google für die verantwortungsbewusste Anwendung von KI.
- Lesen Sie unseren Blog Ein gemeinsamer Plan für verantwortungsbewussten Fortschritt in Sachen KI
Feedback geben für Imagen in Vertex AI
Wenn Sie eine Ausgabe oder Antwort erhalten, die ungenau oder Ihrer Meinung nach unsicher ist, können Sie uns das mitteilen, indem Sie Feedback einreichen. Ihr Feedback kann dazu beitragen, Imagen on Vertex AI und die allgemeinen Bemühungen von Google im Bereich KI zu verbessern.
Da Feedback möglicherweise visuell lesbar ist, sollten Sie keine Daten einreichen, die personenbezogene oder vertrauliche Daten enthalten.