Classe MultiModalEmbeddingModel (1.50.0)

MultiModalEmbeddingModel(model_id: str, endpoint_name: typing.Optional[str] = None)

Genera vettori di incorporamento da immagini e video.

Esempi:

model = MultiModalEmbeddingModel.from_pretrained("multimodalembedding@001")
image = Image.load_from_file("image.png")
video = Video.load_from_file("video.mp4")

embeddings = model.get_embeddings(
    image=image,
    video=video,
    contextual_text="Hello world",
)
image_embedding = embeddings.image_embedding
video_embeddings = embeddings.video_embeddings
text_embedding = embeddings.text_embedding

Metodi

MultiModalEmbeddingModel

MultiModalEmbeddingModel(model_id: str, endpoint_name: typing.Optional[str] = None)

Crea un oggetto _ModelGardenModel.

Questo costruttore non deve essere chiamato direttamente. Usa invece il criterio {model_class}.from_pretrained(model_name=...).

Parametri
Nome	Description
model_id	str Identificatore di un modello Model Garden. Esempio: "text-bison@001"
endpoint_name	typing.Optional[str] Nome della risorsa Vertex Endpoint per il modello

from_pretrained

from_pretrained(model_name: str) -> vertexai._model_garden._model_garden_models.T

Carica un oggetto _ModelGardenModel.

Parametro
Nome	Description
model_name	str Nome del modello.

Eccezioni
Tipo	Description
ValueError	Se model_name è sconosciuto.
ValueError	Se il modello non supporta questa classe.

get_embeddings

get_embeddings(
    image: typing.Optional[vertexai.vision_models.Image] = None,
    video: typing.Optional[vertexai.vision_models.Video] = None,
    contextual_text: typing.Optional[str] = None,
    dimension: typing.Optional[int] = None,
    video_segment_config: typing.Optional[
        vertexai.vision_models.VideoSegmentConfig
    ] = None,
) -> vertexai.vision_models.MultiModalEmbeddingResponse

Recupera i vettori di incorporamento dall'immagine fornita.

Parametri
Nome	Description
image	Image Facoltativo. L'immagine per cui generare incorporamenti. Uno dei valori image, video o contextual_text è obbligatorio.
video	Video Facoltativo. Il video per cui generare gli incorporamenti. Uno dei valori image, video o contextual_text è obbligatorio.
contextual_text	str Facoltativo. Testo contestuale per l'immagine o il video di input. Se fornito, il modello genererà anche un vettore di incorporamento per il testo contestuale fornito. L'immagine e i vettori di incorporamento del testo restituiti si trovano nello stesso spazio semantico con la stessa dimensionalità e i vettori possono essere utilizzati in modo intercambiabile per casi d'uso come la ricerca di immagini per testo o la ricerca di testo per immagine. Uno dei valori image, video o contextual_text è obbligatorio.
dimension	int Facoltativo. Il numero di dimensioni di incorporamento. Valori più bassi offrono una minore latenza quando si utilizzano questi incorporamenti per attività successive, mentre valori più alti offrono una maggiore precisione. Valori disponibili: 128, 256, 512 e 1408 (valore predefinito).
video_segment_config	VideoSegmentConfig Facoltativo. I segmenti video specifici (in secondi) per i quali vengono generati gli incorporamenti.

Restituisce
Tipo	Description
MultiModalEmbeddingResponse	I vettori di incorporamento di immagini e testo.