Imagen on Vertex AI ofrece las funciones de IA generativa de Google de última generación a los desarrolladores de aplicaciones. Como tecnología en etapa inicial, las capacidades y los usos de Imagen on Vertex AI crean un potencial para aplicaciones incorrectas, usos inadecuados y consecuencias no deseadas o imprevistas. Por ejemplo, Imagen on Vertex AI podría generar un resultado que no esperas, como imágenes ofensivas, insensibles o contextuales de forma incorrecta.
Dados estos riesgos y complejidades, Imagen on Vertex AI se diseñó con los principios de IA de Google en mente. Sin embargo, es importante que los desarrolladores comprendan y prueben sus modelos para implementarlos de manera segura y responsable. Para ayudar a los desarrolladores, Imagen on Vertex AI tiene filtros de seguridad integrados que ayudan a los clientes a bloquear los resultados potencialmente dañinos dentro de su caso de uso. Consulta la sección sobre filtros de seguridad para obtener más información.
Cuando Imagen on Vertex AI se integra en el contexto y el caso de uso único de un cliente, es posible que se deban tener en cuenta consideraciones adicionales de IA y limitaciones de modelos. Recomendamos a los clientes que utilicen las prácticas recomendadas de equidad, interpretabilidad, privacidad y seguridad.
Filtros de seguridad
Los mensajes de texto proporcionados como imágenes y entradas (generadas o subidas) a través de
Imagen on Vertex AI se evalúan en función de una lista de filtros de seguridad, que
incluyen “categorías dañinas” (por ejemplo, violence, sexual, derogatory
y toxic).
El propósito de estos filtros de seguridad es filtrar contenido (generado o subido) que
infrinja nuestras Política de Uso Aceptable (AUP),
Política de Uso Prohibido de la IA generativa o nuestros
Principios de la IA.
Si el modelo responde a una solicitud con un mensaje de error como "No se pudo enviar el mensaje" o "podría infringir nuestras políticas", la entrada activa un filtro de seguridad. Si se muestran menos imágenes de las solicitadas, algunos resultados generados se bloquean por no cumplir con los requisitos de seguridad.
Puedes ajustar el parámetro safetySetting para elegir la agresividad con la que deseas filtrar contenido sensible. Algunos niveles de configuración de seguridad (en particular,
block_fewest) requieren que te agreguen a una lista de entidades permitidas. Comunícate con el equipo de cuentas
de Google Cloud para preguntar sobre el proceso de inclusión en la lista de entidades permitidas.
Atributos de seguridad
Los atributos y los filtros de seguridad no tienen una relación de asignación
uno a uno. Los atributos de seguridad son el conjunto de atributos que mostramos al usuario
cuando se configura includeSafetyAttributes. Los filtros de seguridad son el conjunto de filtros que
usamos para filtrar contenido. No filtramos todas las categorías de atributos de seguridad. Por
ejemplo, para la categoría del atributo de seguridad "Salud", no filtramos el contenido
según la puntuación de confianza del estado. Además, no exponemos las puntuaciones
de confianza para algunos de nuestros filtros de seguridad sensibles internos.
Configura filtros de seguridad
Existen varios parámetros de filtrado de seguridad que puedes usar con el
modelo imagegeneration. Por ejemplo, puedes permitir que el modelo informe códigos
de filtro de seguridad para el contenido bloqueado, inhabilitar la generación de personas o rostros, ajustar la
sensibilidad del filtro de contenido o mostrar puntuaciones de seguridad redondeadas de la lista de
atributos de seguridad para la entrada y salida. Para obtener más información técnica sobre los campos individuales, consulta la
referencia de la API del modelo imagegeneration.
La respuesta varía según los parámetros que establezcas. Algunos parámetros afectan el contenido producido y otros afectan el filtrado de contenido y la forma en que se te informa el filtrado. Además, el formato de salida depende de si se filtran los datos de entrada o si se filtra el resultado de la imagen generada.
Parámetros que filtran el contenido
Los siguientes parámetros opcionales afectan el filtrado de contenido o la forma en que se te informa sobre el filtrado:
safetySetting*: te permite configurar la agresividad con la que se filtra el contenido de salida potencialmente sensible.includeRaiReason: proporciona información más detallada sobre el resultado filtrado.personGeneration: es una configuración que te permite tener más control sobre la generación de personas, rostros y niños.disablePersonFace: obsoleto. Una opción para permitir o no la generación de personas y rostros. En su lugar, los usuarios deben configurarpersonGeneration.includeSafetyAttributes: brinda información completa de los atributos de seguridad para el texto de entrada, la imagen de entrada (para la edición) y todas las imágenes generadas. Esta información incluye la categoría de seguridad (por ejemplo,"Firearms & Weapons","Illicit Drugs"o"Violence") y las puntuaciones de confianza.
* Disponible solo para el modelo imagegeneration@006.
Entrada filtrada
Si se filtra la entrada de texto o la imagen de entrada (para editar), obtendrás una respuesta
con un código de error 400. Una solicitud con entrada filtrada con RAI muestra este formato
de salida si configuras includeRaiReason o includeSafetyAttributes.
El resultado depende de la versión del modelo que uses. A continuación, se muestra el resultado cuando se filtra la entrada para diferentes versiones del modelo:
Modelo
{
"error": {
"code": 400,
"message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback."
"status": "INVALID_ARGUMENT",
"details": [
{
"@type": "type.googleapis.com/google.rpc.DebugInfo",
"detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image editing failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }"
}
]
}
}
ajustables
{
"error": {
"code": 400,
"message": "Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.",
"status": "INVALID_ARGUMENT",
"details": [
{
"@type": "type.googleapis.com/google.rpc.DebugInfo",
"detail": "[ORIGINAL ERROR] generic::invalid_argument: Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google's Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback. [google.rpc.error_details_ext] { message: \"Image generation failed with the following error: The prompt could not be submitted. This prompt contains sensitive words that violate Google\\'s Responsible AI practices. Try rephrasing the prompt. If you think this was an error, send feedback.\" }"
}
]
}
}
Resultado filtrado
El contenido del resultado filtrado varía según el parámetro de RAI que establezcas.
En los siguientes ejemplos de salida, se muestra el resultado del uso de los parámetros
includeRaiReason y includeSafetyAttributes.
Resultado filtrado con includeRaiReason
Si no agregas includeRaiReason o configuras includeRaiReason: false, tu respuesta solo incluye objetos de imagen generados que no se filtran. Cualquier objeto de imagen filtrado se omite del array "predictions": []. Por ejemplo, la siguiente es una respuesta a una solicitud con "sampleCount": 4, pero dos de las imágenes se filtran y, por lo tanto, se omiten:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
}
],
"deployedModelId": "MODEL_ID"
}
Si configuras includeRaiReason: true y se filtran varias imágenes de salida, tu respuesta incluye objetos de imagen generados y objetos raiFilteredReason para cualquier imagen de salida filtrada. Por ejemplo, la siguiente es una respuesta a una solicitud con "sampleCount": 4 y includeRaiReason: true, pero dos de las imágenes se filtran: En consecuencia, dos objetos incluyen información de la
imagen generada y el otro incluye un mensaje de error.
Modelo
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
},
{
"raiFilteredReason": "Your current safety filter threshold filtered out 2 generated images. You will not be charged for blocked images. Try rephrasing the prompt. If you think this was an error, send feedback."
},
],
"deployedModelId": "MODEL_ID"
}
ajustables
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png"
},
{
"mimeType": "image/png",
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]Ct+F+1SLLH/2+SJ4ZLdOvg//Z"
},
{
"raiFilteredReason": "56562880"
},
{
"raiFilteredReason": "56562880"
}
],
"deployedModelId": "MODEL_ID"
}
Resultado filtrado con includeSafetyAttributes
Si configuras "includeSafetyAttributes": true, el array "predictions": [] de respuesta incluye las puntuaciones de RAI (redondeadas a un decimal) de atributos de seguridad de texto para la instrucción positiva. Los atributos de seguridad de las imágenes también se agregan a cada salida sin filtrar. Si se filtra una imagen de salida, no se muestran sus atributos de seguridad. Por ejemplo, la siguiente es una respuesta a una solicitud sin filtro, y se muestra una imagen:
{
"predictions": [
{
"bytesBase64Encoded": "/9j/4AAQSkZJRgABA[...]bdsdgD2PLbZQfW96HEFE/9k=",
"mimeType": "image/png",
"safetyAttrbutes": {
"categories": [
"Porn",
"Violence"
],
"scores": [
0.1,
0.2
]
}
},
{
"contentType": "Positive Prompt",
"safetyAttrbutes": {
"categories": [
"Death, Harm & Tragedy",
"Firearms & Weapons",
"Hate",
"Health",
"Illicit Drugs",
"Politics",
"Porn",
"Religion & Belief",
"Toxic",
"Violence",
"Vulgarity",
"War & Conflict"
],
"scores": [
0,
0,
0,
0,
0,
0,
0.2,
0,
0.1,
0,
0.1,
0
]
}
},
],
"deployedModelId": "MODEL_ID"
}
Limitaciones
Los siguientes límites se aplican a diferentes tareas:
Limitaciones de la generación de imágenes
- Amplificación de sesgo: si bien Imagen on Vertex AI puede generar imágenes de alta calidad, pueden existir sesgos potenciales en el contenido generado. Las imágenes generadas se basan en los datos de entrenamiento del producto, que pueden incluir de forma involuntaria sesgos que pueden perpetuar estereotipos o discriminar contra ciertos grupos. La supervisión y la evaluación son necesarias para garantizar que los resultados se alineen con la Política de Uso Aceptable de Google y tu caso de uso.
- Transparencia y divulgación: Puede ser difícil para los usuarios diferenciar entre imágenes generadas por IA e imágenes no generadas por IA. Cuando usas imágenes generadas por IA en tu caso de uso, es importante indicar con claridad a los usuarios que las imágenes generaron un sistema de IA para garantizar la transparencia y mantener la confianza en el proceso. Aplicamos el etiquetado de metadatos a las imágenes generadas por IA para ayudar a combatir el riesgo de información errónea y como parte de nuestro enfoque responsable de la IA.
- Contexto insuficiente: Es posible que Vertex AI no tenga la comprensión contextual necesaria para generar imágenes adecuadas para todas las situaciones o públicos en tu caso de uso. Asegúrate de verificar que las imágenes generadas se alineen con el contexto, el propósito y el público objetivo que elijas.
Limitaciones de edición de imágenes
- Tergiversación y autenticidad: la edición de imágenes con Imagen en Vertex AI puede dar como resultado una tergiversación o manipulación de las imágenes, lo que podría llevar a la creación de contenido engañoso. Es importante asegurarse de que el proceso de edición se use de forma responsable, sin arriesgar la autenticidad y la veracidad de las imágenes editadas. Aplicamos el etiquetado de metadatos a las imágenes editadas por la IA para combatir el riesgo de información errónea y como parte de nuestro enfoque responsable de la IA.
Limitaciones de los subtítulos visuales
- Precisión y sensibilidad del contexto: Los subtítulos visuales pueden encontrar desafíos para describir con precisión imágenes complejas o ambiguas. Es posible que las descripciones generadas no siempre capturen el contexto completo o los matices del contenido visual. Es importante reconocer que los sistemas de subtítulos automatizados tienen limitaciones para comprender imágenes con diferentes niveles de complejidad, y sus descripciones deben usarse con precaución, en especial en contextos críticos o sensibles.
- Ambigüedad e interpretaciones subjetivas: Las imágenes suelen estar abiertas a varias interpretaciones, y es posible que los subtítulos generados no siempre se alineen con la comprensión humana o las expectativas. Las distintas personas pueden percibir y describir las imágenes de forma diferente según sus experiencias subjetivas y contextos culturales. Es fundamental tener en cuenta el potencial de ambigüedad y subjetividad en las descripciones de imágenes y proporcionar contexto adicional o interpretaciones alternativas cuando sea necesario.
- Consideraciones de accesibilidad: Si bien los subtítulos automáticos de imágenes pueden admitir la accesibilidad mediante descripciones para personas con discapacidad visual, es importante reconocer que no pueden reemplazar por completo el texto alternativo generado por humanos ni las descripciones adaptadas a necesidades de accesibilidad específicas. Es posible que los subtítulos automatizados no tengan el nivel de detalle o la comprensión contextual necesarios para ciertos casos de uso de accesibilidad.
Limitaciones de la búsqueda de respuestas visuales (VQA)
- Exceso de confianza e incertidumbre: Los modelos de VQA a veces pueden proporcionar respuestas con confianza no garantizada, incluso cuando la respuesta correcta es incierto o ambigua. Es esencial comunicar la incertidumbre del modelo y proporcionar puntuaciones de confianza adecuadas o respuestas alternativas cuando existe ambigüedad, en lugar de transmitir una falsa sensación de certeza.
Prácticas recomendadas
Para usar esta tecnología de forma segura y responsable, también es importante considerar otros riesgos específicos de tu caso de uso, los usuarios y el contexto empresarial, además de las protecciones técnicas integradas.
Te recomendamos que sigas estos pasos:
- Evalúa los riesgos de seguridad de tu aplicación.
- Considera realizar ajustes para mitigar los riesgos de seguridad.
- Realiza pruebas de seguridad adecuadas según tu caso de uso.
- Solicita comentarios de los usuarios y supervisa el contenido.
Recursos adicionales
- Obtén información sobre la IA responsable para modelos grandes de lenguaje (LLM).
- Obtén más información sobre las recomendaciones de Google para las prácticas de IA responsable.
- Lee nuestro blog, Un tema compartido para el progreso responsable de la IA
Proporciona una devolución de tarifa en Imagen on Vertex AI
Si recibes un resultado o una respuesta imprecisa o que consideras que no son seguros, puedes enviar comentarios para avisarnos. Tus comentarios pueden ayudar a mejorar Imagen on Vertex AI y los esfuerzos más amplios de Google en IA.
Debido a que los comentarios pueden ser legibles por humanos, no envíes datos que contengan información personal, confidencial o sensible.