Genera embedding multimodali

Questa pagina descrive come generare incorporamenti multimodali utilizzando il modello multimodale Vertex AI supportato, multimodalembedding@001.

Puoi utilizzare i modelli di embedding multimodali di Vertex AI indicati in Modelli supportati.

Questa pagina presuppone che tu abbia familiarità con AlloyDB per PostgreSQL e con i concetti di AI generativa. Per saperne di più sugli incorporamenti, consulta Che cosa sono gli incorporamenti.

Prima di iniziare

Prima di utilizzare gli incorporamenti multimodali:

Integrare Vertex AI e installare l'estensione

  1. Esegui l'integrazione con Vertex AI.
  2. Assicurati che sia installata l'ultima versione di google_ml_integration.

    1. Per controllare la versione installata, esegui questo comando:

              SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion
        ------------
        1.4.3
        (1 row)

    2. Se l'estensione non è installata o se la versione installata è precedente alla 1.4.3, aggiornala eseguendo i seguenti comandi:

              CREATE EXTENSION IF NOT EXISTS google_ml_integration;
        ALTER EXTENSION google_ml_integration UPDATE;

      Se riscontri problemi durante l'esecuzione dei comandi precedenti o se l'estensione non viene aggiornata alla versione 1.4.3 dopo l'esecuzione dei comandi precedenti, contatta l'assistenza AlloyDB.

    3. Dopo aver verificato che la versione sia aggiornata, installa la funzionalità di anteprima eseguendo la procedura upgrade_to_preview_version:

              CALL google_ml.upgrade_to_preview_version();
        SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion
        ------------
        1.4.4
        (1 row)

Accedere ai dati in Cloud Storage per generare incorporamenti multimodali

  • Per generare incorporamenti multimodali, fai riferimento ai contenuti in Cloud Storage utilizzando un URI gs://.
  • Accedi ai contenuti di Cloud Storage tramite l'agente di servizio Vertex AI del progetto attuale. Per impostazione predefinita, l'agente di servizio Vertex AI dispone già dell'autorizzazione per accedere al bucket nello stesso progetto. Per maggiori informazioni, consulta l'indice di ruoli e autorizzazioni IAM.

  • Per accedere ai dati in un bucket Cloud Storage in un altro Google Cloud progetto, esegui il seguente comando gcloud CLI per concedere il ruolo Visualizzatore oggetti Storage (roles/storage.objectViewer) all'agente di servizio Vertex AI del tuo progetto AlloyDB.

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
--member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
--role="roles/storage.objectViewer"

    Per saperne di più, consulta Impostare e gestire le policy IAM sui bucket.

Per generare incorporamenti multimodali, seleziona uno dei seguenti schemi.

Passaggi successivi