取得文字嵌入

本文說明如何使用 Vertex AI Text Embeddings API 建立文字嵌入。

文字嵌入是文字的稠密向量表示法，舉例來說，gemini-embedding-001 模型會為指定文字生成 3072 維度的向量。這些密集向量嵌入是使用類似於大型語言模型的深度學習方法建立。

稀疏向量會將字詞對應至數字，而稠密向量則用於表示文字的語意。使用密集向量嵌入的主要優點是能夠執行語意搜尋。不必搜尋直接相符的字詞或語法，而是搜尋與查詢意義一致的文字段落，即使段落中使用的措辭不同也沒關係。

嵌入向量經過正規化，因此您可以使用餘弦相似度、點積或歐氏距離，取得相同的相似度排名。

問題和答案在語意上不相似
圖 1. 取得文字嵌入。

事前準備

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Enable the Vertex AI API.

    Enable the API

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Enable the Vertex AI API.

    Enable the API

    6.
  6. 為嵌入工作選擇工作類型。

    7. 支援的模型

    您可以使用下列模型取得文字嵌入：

    模型名稱 說明 輸出維度 序列長度上限 支援的文字語言
    gemini-embedding-001 在英文、多語言和程式碼工作方面表現優異。這項模型整合了先前的專用模型 (例如 text-embedding-005 和 text-multilingual-embedding-002)，並在各自領域中展現更出色的效能。詳情請參閱我們的技術報告。 最多 3072 個 2048 個符記 支援的文字語言
    text-embedding-005 專精於英文和程式碼工作。 最多 768 個 2048 個符記 英文
    text-multilingual-embedding-002 擅長處理多語言工作。 最多 768 個 2048 個符記 支援的文字語言

    如要獲得最佳嵌入品質，請使用 gemini-embedding-001，這是我們設計的大型模型，可提供最高效能。請注意，gemini-embedding-001 每個要求僅支援一個執行個體。

    取得某段文字的文字嵌入

    您可以使用 Vertex AI API 或 Python 適用的 Vertex AI SDK，取得文字片段的文字嵌入。

    API 上限

    每個要求最多只能輸入 250 則文字。 API 的輸入詞元上限為 20,000 個。 如果輸入內容超過這項限制，系統就會傳回 400 錯誤。此外，每段輸入文字最多只能有 2048 個符記，超出上限的文字會遭到截斷。您也可以將 autoTruncate 設為 false，停用無聲截斷功能。

    詳情請參閱「文字嵌入限制」。

    選擇嵌入維度

    所有模型預設都會生成完整長度的嵌入向量。對於 gemini-embedding-001，這個向量有 3072 個維度，其他模型則會產生 768 維向量。不過，使用者可以透過 output_dimensionality 參數控制輸出嵌入向量的大小。選取較小的輸出維度可節省儲存空間，並提高下游應用程式的運算效率，同時幾乎不會犧牲品質。

    下列範例使用 gemini-embedding-001 模型。

    Python

    安裝

    pip install --upgrade google-genai

    詳情請參閱 SDK 參考說明文件。

    設定環境變數，透過 Vertex AI 使用 Gen AI SDK： 

    # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
     

    from google import genai
from google.genai.types import EmbedContentConfig

client = genai.Client()
response = client.models.embed_content(
    model="gemini-embedding-001",
    contents="How do I get a driver's license/learner's permit?",
    config=EmbedContentConfig(
        task_type="RETRIEVAL_DOCUMENT",  # Optional
        output_dimensionality=3072,  # Optional
        title="Driver's License",  # Optional
    ),
)
print(response)
# Example response:
# embeddings=[ContentEmbedding(values=[-0.06302902102470398, 0.00928034819662571, 0.014716853387653828, -0.028747491538524628, ... ],
# statistics=ContentEmbeddingStatistics(truncated=False, token_count=13.0))]
# metadata=EmbedContentMetadata(billable_character_count=112)

    將嵌入項目新增至向量資料庫

    生成嵌入後，您可以將嵌入新增至向量資料庫，例如 Vector Search。這有助於縮短擷取作業的延遲時間，對於資料量不斷增加的您來說，這點至關重要。

    如要進一步瞭解 Vector Search，請參閱「Vector Search 總覽」。

    後續步驟