此演示展示了如何通过使用 Vertex AI SDK for ABAP 将多模态输入(例如文本和图片)传递给嵌入模型,从而生成多模态嵌入。
准备工作
在运行本演示之前,请确保您或您的管理员已满足以下前提条件:
- 在 Google Cloud 项目中启用了 Vertex AI API。
- 设置身份验证以访问 Vertex AI API。
- 配置了模型生成参数。如需生成嵌入,仅需要以下参数:
Client Key
、Model Key
、Model ID
、Google Cloud Region Location
和Publisher
。
生成多模态嵌入
如需生成多模态嵌入,请执行以下步骤:
在 SAP GUI 中,执行事务代码
/GOOG/SDK_IMG
。或者,执行事务代码
SPRO
,然后点击 SAP Reference IMG。转到 ABAP SDK for Google Cloud > 演示。
打开演示:调用多模态嵌入模型
选择生成多模态嵌入。
在客户端密钥字段中,输入用于身份验证的客户端密钥。
在模型键字段中,输入模型键,该键在模型生成参数中进行配置。
在维度字段中,输入输出嵌入维度的数量,例如
1408
。对于多模嵌入,可用的维度包括:128
、256
、512
和1408
。视情况为以下字段指定值:
- 图片的 GCS URI:如需向请求添加图片,请指定存储在 Cloud Storage 存储桶中的图片的 URI。
- 上传图片:如需向请求添加图片,请从本地系统上传图片。
- 视频的 GCS URI:如需向请求添加视频,请指定存储在 Cloud Storage 存储桶中的视频的 URI。
您可以指定 Cloud Storage 中文件的 URI,也可以从本地系统上传文件。
在输入文本字段中,提供输入文本。
运行此程序。来自 LLM 的响应区域会显示生成的嵌入。