Esta demonstração mostra como gerar embeddings multimodais transmitindo entradas multimodais, como texto e imagem, para um modelo de embedding usando o SDK Vertex AI para ABAP.
Antes de começar
Antes de executar esta demonstração, verifique se você ou seus administradores concluíram os seguintes pré-requisitos:
- Ativar a API Vertex AI no seu projeto do Google Cloud.
- Configure a autenticação para acessar a API Vertex AI.
- Configurou os parâmetros de geração de modelos. Para gerar embeddings, apenas os seguintes
parâmetros são necessários:
Client Key,Model Key,Model ID,Google Cloud Region LocationePublisher.
Gerar embeddings multimodais
Para gerar embeddings multimodais, siga estas etapas:
Na GUI do SAP, execute o código de transação
/GOOG/SDK_IMG.Como alternativa, execute o código da transação
SPROe clique em IMG de referência do SAP.Acesse ABAP SDK for Google Cloud > Demonstrações.
Abrir Demonstração: invocar modelos de embedding multimodais
Selecione Gerar embeddings multimodais.
No campo Chave do cliente, insira a chave do cliente para autenticação.
No campo Chave do modelo, insira a chave do modelo, que é configurada nos parâmetros de geração de modelos.
No campo Dimensões, insira o número de dimensões para as embeddings de saída, como
1408. Para representações multimodais, as dimensões disponíveis são:128,256,512e1408.Especifique os valores dos seguintes campos:
- URI do GCS da imagem: para adicionar uma imagem à solicitação, especifique o URI da imagem armazenada em um bucket do Cloud Storage.
- Fazer upload de uma imagem: para adicionar uma imagem à solicitação, faça o upload da imagem do seu sistema local.
- URI do GCS do vídeo: para adicionar um vídeo à solicitação, especifique o URI do vídeo armazenado em um bucket do Cloud Storage.
Você pode especificar o URI de um arquivo do Cloud Storage ou fazer upload de um arquivo do seu sistema local.
No campo Inserir texto, informe o texto de entrada.
Execute o programa. A área Resposta do LLM mostra os embeddings gerados.