Gerar embeddings multimodais

Nesta página, descrevemos como gerar embeddings multimodais usando o modelo multimodal da Vertex AI compatível, multimodalembedding@001.

É possível usar os modelos de embedding multimodal da Vertex AI mencionados em Modelos compatíveis.

Nesta página, consideramos que você esteja familiarizado com o AlloyDB para PostgreSQL e os conceitos de IA generativa. Para mais informações sobre embeddings, consulte O que são embeddings.

Antes de começar

Antes de usar embeddings multimodais, faça o seguinte:

Integrar com a Vertex AI e instalar a extensão

  1. Integrar com a Vertex AI.
  2. Verifique se a versão mais recente do google_ml_integration está instalada.

    1. Para verificar a versão instalada, execute o seguinte comando:

              SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion
        ------------
        1.4.3
        (1 row)

    2. Se a extensão não estiver instalada ou se a versão instalada for anterior à 1.4.3, atualize a extensão executando os seguintes comandos:

              CREATE EXTENSION IF NOT EXISTS google_ml_integration;
        ALTER EXTENSION google_ml_integration UPDATE;

      Se você tiver problemas ao executar os comandos anteriores ou se a extensão não for atualizada para a versão 1.4.3 depois de executar os comandos anteriores, entre em contato com o suporte do AlloyDB.

    3. Depois de verificar se a versão está atualizada, instale a funcionalidade de prévia executando o procedimento upgrade_to_preview_version:

              CALL google_ml.upgrade_to_preview_version();
        SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion
        ------------
        1.4.4
        (1 row)

Acessar dados no Cloud Storage para gerar incorporações multimodais

  • Para gerar incorporações multimodais, consulte o conteúdo no Cloud Storage usando um URI gs://.
  • Acesse o conteúdo do Cloud Storage usando o agente de serviço da Vertex AI do projeto atual. Por padrão, o agente de serviço da Vertex AI já tem permissão para acessar o bucket no mesmo projeto. Para mais informações, consulte o índice de papéis e permissões do IAM.

  • Para acessar dados em um bucket do Cloud Storage em outro projeto do Google Cloud , execute o seguinte comando da CLI gcloud para conceder o papel Leitor de objetos do Storage (roles/storage.objectViewer) ao agente de serviço da Vertex AI do seu projeto do AlloyDB.

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
--member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
--role="roles/storage.objectViewer"

    Para mais informações, consulte Definir e gerenciar políticas do IAM em buckets.

Para gerar embeddings multimodais, selecione um dos seguintes esquemas.

A seguir