このデモでは、Vertex AI SDK for ABAP を使用して、テキストや画像などのマルチモーダル入力をエンベディング モデルに渡すことで、マルチモーダル エンベディングを生成する方法を示します。
始める前に
このデモを実行する前に、自身または管理者によって次の前提条件が完了していることを確認してください。
- Google Cloud プロジェクトで Vertex AI API が有効になっている。
- Vertex AI API にアクセスするための認証が設定されている。
- モデル生成パラメータが構成されている。エンベディングの生成には、
Client Key、Model Key、Model ID、Google Cloud Region Location、Publisherの 5 つのパラメータのみが必要です。
マルチモーダル エンベディングを生成する
マルチモーダル エンベディングを生成するには、次の操作を行います。
SAP GUI で、トランザクション コード
/GOOG/SDK_IMGを実行します。または、トランザクション コード
SPROを実行して、[SAP Reference IMG] をクリックします。[ABAP SDK for Google Cloud] > [Demos] に移動します。
[Demo: Invoke multimodal Embedding models] を開きます。
[Generate multimodal embeddings] を選択します。
[Client key] フィールドに、認証用のクライアント キーを入力します。
[Model key] フィールドに、モデル生成パラメータで構成されているモデルキーを入力します。
[Dimensions] フィールドに、出力エンベディングの次元数（
1408など）を入力します。マルチモーダル エンベディングの場合、使用できるディメンションは128、256、512、1408です。必要に応じて、次のフィールドに値を指定します。
- 画像の GCS URI: リクエストに画像を追加するには、Cloud Storage バケットに保存されている画像の URI を指定します。
- 画像をアップロードする: リクエストに画像を追加するには、ローカル システムから画像をアップロードします。
- 動画の GCS URI: リクエストに動画を追加するには、Cloud Storage バケットに保存されている動画の URI を指定します。
Cloud Storage のファイルの URI を指定するか、ローカル システムからファイルをアップロードします。
[Enter text] フィールドに入力テキストを入力します。
プログラムを実行します。[Response from LLM] 領域に、生成されたエンベディングが表示されます。