Generar incrustaciones multimodales

En esta página se describe cómo generar embeddings multimodales con el modelo multimodal de Vertex AI multimodalembedding@001.

Puedes usar los modelos de inserciones multimodales de Vertex AI que se mencionan en Modelos admitidos.

En esta página se presupone que conoces AlloyDB para PostgreSQL y los conceptos de IA generativa. Para obtener más información sobre las inserciones, consulta ¿Qué son las inserciones?

Antes de empezar

Antes de usar las inserciones multimodales, haz lo siguiente:

Integrar con Vertex AI e instalar la extensión

  1. Integración con Vertex AI.
  2. Asegúrate de que esté instalada la versión más reciente de google_ml_integration.

    1. Para comprobar la versión instalada, ejecuta el siguiente comando:

              SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion
        ------------
        1.4.3
        (1 row)

    2. Si la extensión no está instalada o la versión instalada es anterior a la 1.4.3, actualízala ejecutando los siguientes comandos:

              CREATE EXTENSION IF NOT EXISTS google_ml_integration;
        ALTER EXTENSION google_ml_integration UPDATE;

      Si tienes problemas al ejecutar los comandos anteriores o si la extensión no se actualiza a la versión 1.4.3 después de ejecutar los comandos anteriores, ponte en contacto con el equipo de Asistencia de AlloyDB.

    3. Una vez que te hayas asegurado de que la versión está actualizada, instala la función de vista previa ejecutando el procedimiento upgrade_to_preview_version:

              CALL google_ml.upgrade_to_preview_version();
        SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion
        ------------
        1.4.4
        (1 row)

Acceder a datos de Cloud Storage para generar inserciones multimodales

  • Para generar incrustaciones multimodales, haz referencia al contenido de Cloud Storage mediante un URI gs://.
  • Acceder al contenido de Cloud Storage a través del agente de servicio de Vertex AI de tu proyecto actual. De forma predeterminada, el agente de servicio de Vertex AI ya tiene permiso para acceder al segmento del mismo proyecto. Para obtener más información, consulta el índice de roles y permisos de gestión de identidades y accesos.

  • Para acceder a los datos de un segmento de Cloud Storage de otro Google Cloud proyecto, ejecuta el siguiente comando de la CLI de gcloud para asignar el rol Lector de objetos de Storage (roles/storage.objectViewer) al agente de servicio de Vertex AI de tu proyecto de AlloyDB.

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
--member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
--role="roles/storage.objectViewer"

    Para obtener más información, consulta Definir y gestionar políticas de IAM en contenedores.

Para generar inserciones multimodales, selecciona uno de los siguientes esquemas.

Siguientes pasos