Imagen in Vertex AI bringt Anwendungsentwicklern die hochmodernen Generative AI-Funktionen von Google. Als frühe früheste Technologie entwickelt Imagen in den sich weiterentwickelnden Vertex KI-Funktionen Möglichkeiten für Fehlanwendungen, Missbrauch sowie unbeabsichtigte oder unvorhergesehene Folgen. Beispielsweise kann Imagen auf Vertex AI zu unerwarteten Ausgaben führen, z. B. zu anstößigen, unempfindlichen oder kontextbezogene Images.
Angesichts dieser Risiken und Komplexität wurde Imagen in Vertex AI gemäß der KI-Prinzipien von Google entwickelt. Es ist jedoch wichtig, dass Entwickler ihre Modelle verstehen und testen, um sie sicher und verantwortungsvoll bereitzustellen. Zur Unterstützung von Entwicklern verfügt Imagen in Vertex AI über integrierte Sicherheitsfilter, mit denen Kunden potenziell schädliche Ausgaben in ihrem Anwendungsfall blockieren können. Weitere Informationen finden Sie im Abschnitt Sicherheitsfilter.
Wenn Imagen in Vertex AI für den einzigartigen Anwendungsfall und den Kontext eines Kunden genutzt wird, müssen möglicherweise zusätzliche KI-Überlegungen und Modelleinschränkungen berücksichtigt werden. Wir empfehlen unseren Kunden, empfohlene Vorgehensweisen bei Fairness, Interpretierbarkeit, Datenschutz und Sicherheit zu nutzen.
Sicherheitsfilter
Text-Prompts, die als Eingaben und Bilder von Imagen in Vertex AI bereitgestellt wurden (generiert oder hochgeladen), werden anhand einer Liste von Sicherheitsfiltern bewertet, die „schädliche Kategorien“ enthalten (z. B.violence ,sexual ,derogatory und toxic). Diese Sicherheitsfilter dienen dazu, (generierte oder hochgeladene) Inhalte herauszufiltern, die gegen unsere Richtlinien zur fairen Nutzung (Acceptable Use Policy, AUP), Richtlinie für verbotene Nutzung generativer KI oder unsere KI-Prinzipien verstoßen.
Wenn das Modell auf eine Anfrage mit einer Fehlermeldung wie „Der Prompt konnte nicht gesendet werden“ oder „Es könnte gegen unsere Richtlinien verstoßen“ reagiert, löst die Eingabe einen Sicherheitsfilter aus. Wenn weniger Bilder als angefordert zurückgegeben werden, wird ein Teil der generierten Ausgabe blockiert, um die Sicherheitsanforderungen nicht zu erfüllen.
Sie können auswählen, wie intensiv Sie vertrauliche Inhalte filtern möchten, indem Sie den Parameter safetySetting anpassen. Einige Sicherheitseinstellungsebenen (insbesondere block_fewest) erfordern, dass Sie einer Zulassungsliste hinzugefügt werden. Wenden Sie sich an Ihr Google Cloud-Account-Management-Team, um Fragen zum Prozess zur Zulassungsliste zu erhalten.
Sicherheitsattribute
Sicherheitsattribute und Sicherheitsfilter haben keine 1:1-Zuordnung. Sicherheitsattribute sind die Attribute, die wir an den Nutzer zurückgeben, wenn includeSafetyAttributes festgelegt ist. Sicherheitsfilter sind die Filter, mit denen wir Inhalte filtern. Wir filtern nicht nach allen Kategorien von Sicherheitsattributen. Beispielsweise filtern wir für die Sicherheitsattributkategorie „Gesundheit“ keine Inhalte anhand des Konfidenzwerts für den Gesundheitszustand. Außerdem werden die Konfidenzwerte für einige unserer internen sensiblen Sicherheitsfilter nicht angezeigt.
Sicherheitsfilter konfigurieren
Es gibt mehrere Sicherheitsfilter-Parameter, die Sie mit dem imagegeneration-Modell verwenden können. Sie können das Modell beispielsweise Sicherheitsfiltercodes für blockierte Inhalte melden lassen, die Erstellung von Personen oder Gesichtern deaktivieren, die Empfindlichkeit der Inhaltsfilterung anpassen oder gerundete Sicherheitspunktzahlen von Listen von Sicherheitsattributen für die Eingabe und Ausgabe zurückgeben. Technische Informationen zu einzelnen Feldern finden Sie in der API-Referenz des imagegeneration-Modells.
Die Antwort hängt davon ab, welche Parameter Sie festgelegt haben. Einige Parameter wirken sich auf den generierten Inhalt aus, während andere die Inhaltsfilterung und die Art der Filterung beeinflussen. Das Ausgabeformat hängt davon ab, ob die Eingabedaten gefiltert werden oder ob die generierte Bildausgabe gefiltert wird.
Parameter, die Inhalte filtern
Die folgenden optionalen Parameter wirken sich auf die Filterung von Inhalten und die Art der Filterung aus:
safetySetting*: Hiermit können Sie festlegen, wie aggressiv nach potenziell vertraulichen Ausgabeinhalten gefiltert werden soll.includeRaiReason- Liefert ausführlichere Informationen zur gefilterten Ausgabe.personGeneration- Eine Einstellung, die Ihnen mehr Kontrolle über die Generierung von Personen, Gesichtern und Kindern ermöglicht.disablePersonFace- Eingestellte Funktion. Option, um die Generierung von Personen und Gesichtern zuzulassen oder nicht. Nutzer sollten stattdessenpersonGenerationfestlegen.includeSafetyAttributes– liefert Ihnen vollständige Sicherheitsattributinformationen für den Eingabetext, das Eingabebild (zum Bearbeiten) und alle generierten Bilder. Diese Informationen enthalten die Sicherheitskategorie (z. B."Firearms & Weapons","Illicit Drugs"oder"Violence") und die Konfidenzwerte.
* Nur für das Modell imagegeneration@006 verfügbar.
Gefilterte Eingabe
Wenn die Texteingabe oder das Eingabebild (zum Bearbeiten) gefiltert wird, erhalten Sie eine Antwort mit dem Fehlercode 400. Eine Anfrage mit RAI-gefilterter Eingabe gibt dieses Ausgabeformat zurück, wenn Sie entweder includeRaiReason oder includeSafetyAttributes festlegen.
Die Ausgabe hängt von der verwendeten Modellversion ab. Im Folgenden sehen Sie die Ausgabe, wenn die Eingabe für verschiedene Modellversionen gefiltert wird:
Modell
{
"error": {
"code": 400,
"message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback."
"status": "INVALID_ARGUMENT",
"details": [
{
"@type": "type.googleapis.com/google.rpc.DebugInfo",
"detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image editing failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }"
}
]
}
}
Modelle
{
"error": {
"code": 400,
"message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.",
"status": "INVALID_ARGUMENT",
"details": [
{
"@type": "type.googleapis.com/google.rpc.DebugInfo",
"detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google\\'s Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }"
}
]
}
}
Gefilterte Ausgabe
Der Inhalt der gefilterten Ausgabe hängt vom festgelegten RAI-Parameter ab.
Die folgenden Ausgabebeispiele zeigen das Ergebnis der Verwendung der Parameter includeRaiReason und includeSafetyAttributes.
Mit includeRaiReason gefilterte Ausgabe
Wenn Sie includeRaiReason nicht hinzufügen oder includeRaiReason: false nicht festlegen, enthält die Antwort nur generierte Bildobjekte, die nicht gefiltert werden. Gefilterte Bildobjekte werden im Array "predictions": [] ausgelassen. Das folgende Beispiel zeigt eine Antwort auf eine Anfrage mit "sampleCount": 4, die beiden Bilder werden jedoch gefiltert und dementsprechend ausgelassen:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
}
],
"deployedModelId": "MODEL_ID"
}
Wenn Sie includeRaiReason: true festlegen und mehrere Ausgabebilder gefiltert werden, enthält die Antwort generierte Bildobjekte und raiFilteredReason-Objekte für alle gefilterten Ausgabebilder. Das folgende Beispiel zeigt eine Antwort auf eine Anfrage mit "sampleCount": 4 und includeRaiReason: true, die beiden Bilder werden jedoch gefiltert. Daher enthalten zwei Objekte generierte Bildinformationen und das andere Objekt enthält eine Fehlermeldung.
Modell
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
},
{
"raiFilteredReason": "Your current safety filter threshold filtered out 2 generated images. You will not be charged for blocked images. Try rephrasing the prompt. If you think this was an error, send feedback."
},
],
"deployedModelId": "MODEL_ID"
}
Modelle
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
},
{
"raiFilteredReason": "56562880"
},
{
"raiFilteredReason": "56562880"
}
],
"deployedModelId": "MODEL_ID"
}
Mit includeSafetyAttributes gefilterte Ausgabe
Wenn Sie "includeSafetyAttributes": true festlegen, enthält das Antwort-Array "predictions": [] die RAI-Bewertungen (gerundet auf eine Dezimalstelle) für die Textsicherheitsattribute der positiven Eingabeaufforderung. Die Bild-Sicherheitsattribute werden ebenfalls jeder ungefilterten Ausgabe hinzugefügt. Wenn ein Ausgabebild gefiltert wird, werden seine Sicherheitsattribute nicht zurückgegeben. Das folgende Beispiel zeigt eine Antwort auf eine ungefilterte Anfrage, und ein Bild wird zurückgegeben:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png",
"safetyAttrbutes": {
"categories": [
"Porn",
"Violence"
],
"scores": [
0.1,
0.2
]
}
},
{
"contentType": "Positive Prompt",
"safetyAttrbutes": {
"categories": [
"Death, Harm & Tragedy",
"Firearms & Weapons",
"Hate",
"Health",
"Illicit Drugs",
"Politics",
"Porn",
"Religion & Belief",
"Toxic",
"Violence",
"Vulgarity",
"War & Conflict"
],
"scores": [
0,
0,
0,
0,
0,
0,
0.2,
0,
0.1,
0,
0.1,
0
]
}
},
],
"deployedModelId": "MODEL_ID"
}
Beschränkungen
Die folgenden Limits gelten für verschiedene Aufgaben:
Einschränkungen bei der Bildgenerierung
- Verzerrungsverstärkung: Während Imagen in Vertex AI hochwertige Bilder generieren kann, kann es bei den generierten Inhalten zu Verzerrungen kommen. Die generierten Bilder basieren auf den Trainingsdaten des Produkts, die unbeabsichtigt Verzerrungen enthalten können, die Stereotypen verbreiten oder bestimmte Gruppen diskriminieren können. Eine sorgfältige Überwachung und Bewertung ist erforderlich, damit die Ausgaben der Richtlinie zur fairen Nutzung von Google und Ihrem Anwendungsfall entsprechen.
- Transparenz und Offenlegung: Für Nutzer kann es schwierig sein, zwischen KI-generierten und nicht KI-generierten Bildern zu unterscheiden. Wenn Sie in Ihrem Anwendungsfall KI-generierte Bilder verwenden, müssen Sie den Nutzern deutlich mitteilen, dass die Bilder von einem KI-System generiert wurden. So gewährleisten Sie die Transparenz und das Vertrauen in den Prozess. Wir haben die von der KI erstellten Bilder mit Metadaten versehen, um das Risiko von Fehlinformationen zu bekämpfen. Dies geschieht als Teil unseres verantwortungsbewussten Ansatzes für KI.
- Unzureichender Kontext: Imagen in Vertex AI hat möglicherweise nicht das Kontextverständnis, um Bilder zu generieren, die für alle Situationen oder Zielgruppen in Ihrem Anwendungsfall geeignet sind. Achten Sie darauf, dass die generierten Bilder zum ausgewählten Kontext, Zweck und zur gewünschten Zielgruppe passen.
Einschränkungen bei der Bildbearbeitung
- Falschdarstellung und Authentizität: Die Bearbeitung von Bildern mit Imagen in Vertex AI kann zu einer Falschdarstellung oder Manipulation von Bildern führen, was potenziell zu irreführenden oder irreführenden Inhalten führen kann. Es ist wichtig, dass der Bearbeitungsprozess verantwortungsvoll verwendet wird, ohne die Authentizität und Wahrhaftigkeit der bearbeiteten Bilder zu beeinträchtigen. Wir haben die von der KI bearbeiteten Bilder mit Metadaten versehen, um das Risiko von Fehlinformationen zu bekämpfen. Dies geschieht als Teil unseres verantwortungsbewussten Ansatzes für KI.
Einschränkungen bei der visuellen Untertitelung
- Genauigkeit und Kontextempfindlichkeit: Visuelle Untertitelungen können bei der genauen Beschreibung komplexer oder mehrdeutiger Bilder schwierig sein. Die generierten Beschreibungen erfassen möglicherweise nicht immer den vollständigen Kontext oder die Nuancen des visuellen Inhalts. Machen Sie sich bewusst, dass automatische Untertitelsysteme Einschränkungen beim Verständnis von Bildern mit unterschiedlicher Komplexität haben. Sie sollten daher mit Vorsicht verwendet werden, insbesondere in kritischen oder sensiblen Kontexten.
- Mehrdeutigkeit und subjektive Interpretationen: Bilder können oft für mehrere Interpretationen offen sein und die generierten Untertitel entsprechen möglicherweise nicht immer dem menschlichen Verständnis oder deren Erwartungen. Personen können Bilder aufgrund ihrer subjektiven Erfahrungen und kulturellen Hintergründe unterschiedlich wahrnehmen und beschreiben. Es ist wichtig, die Möglichkeit von Mehrdeutigkeit und Subjektivität in Bildbeschreibungen zu berücksichtigen und bei Bedarf zusätzlichen Kontext oder alternative Interpretationen bereitzustellen.
- Überlegungen zur Barrierefreiheit: Automatische Bilduntertitel können die Barrierefreiheit durch Beschreibungen für sehbehinderte Personen unterstützen. Sie sollten jedoch beachten, dass sie vom Menschen generierte Alt-Texte oder Beschreibungen, die auf bestimmte Barrierefreiheitsanforderungen zugeschnitten sind, möglicherweise nicht vollständig ersetzen. Automatische Untertitel sind möglicherweise nicht detailliert oder kontextbezogen für bestimmte Anwendungsfälle im Bereich der Barrierefreiheit.
Einschränkungen für Visual Question Answering (VQA)
- Überflüssigkeit und Unsicherheit: VQA-Modelle können manchmal Antworten mit unbefugter Konfidenz liefern, auch wenn die richtige Antwort unsicher oder mehrdeutig ist. Es ist wichtig, die Unsicherheit des Modells zu kommunizieren und im Falle von Mehrdeutigkeit geeignete Konfidenzwerte oder alternative Antworten bereitzustellen, anstatt ein falsches Gefühl von Sicherheit zu vermitteln.
Empfohlene Vorgehensweisen
Um diese Technologie sicher und verantwortungsvoll zu nutzen, ist es wichtig, neben den integrierten technischen Sicherheitsmaßnahmen weitere Risiken zu berücksichtigen, die für Anwendungsfall, Nutzer und Geschäftskontext spezifisch sind.
Wir empfehlen Folgendes:
- Bewerten Sie die Sicherheitsrisiken Ihrer Anwendung.
- Passen Sie Anpassungen an, um Sicherheitsrisiken zu minimieren.
- Führen Sie für Ihren Anwendungsfall geeignete Sicherheitstests durch.
- Holen Sie Nutzerfeedback ein und überwachen Sie Inhalte.
Weitere Ressourcen
- Weitere Informationen zu verantwortungsbewussten KI für Large Language Models (LLMs)
- Weitere Informationen zu den Empfehlungen von Google zu verantwortungsbewussten KI-Praktiken.
- Lesen Sie unseren Blog Ein gemeinsamer Plan für verantwortungsbewussten Fortschritt in Sachen KI
Feedback geben für Imagen in Vertex AI
Wenn Sie eine fehlerhafte Ausgabe oder Antwort erhalten oder diese Ihrer Meinung nach nicht sicher sind, können Sie uns Feedback geben. Ihr Feedback kann dazu beitragen, Imagen in Vertex AI und die umfassenderen Google-Bemühungen in KI zu verbessern.
Da Feedback für Menschen lesbar ist, senden Sie keine Daten, die personenbezogene, vertrauliche oder vertrauliche Daten enthalten.