取得文字嵌入

本文說明如何使用 Vertex AI Text Embeddings API 建立文字嵌入。

Vertex AI 文字嵌入 API 使用密集向量表示法：例如 gemini-embedding-001 使用 3072 維度的向量。密集向量嵌入模型使用的深度學習方法，與大型語言模型使用的類似。稀疏向量通常會直接將字詞對應至數字，而密集向量的設計宗旨是更準確地呈現一段文字的意義。在生成式 AI 中使用密集向量嵌入的優點是，您不必搜尋直接的字詞或語法比對，而是可以更有效地搜尋與查詢意義一致的段落，即使這些段落使用的語言不同也沒關係。

向量經過正規化，因此您可以使用餘弦相似度、點積或歐氏距離，提供相同的相似度排名。

事前準備

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Enable the Vertex AI API.

    Enable the API

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Enable the Vertex AI API.

    Enable the API

    6.
  6. 為嵌入工作選擇工作類型。

    7. 支援的模型

    您可以使用下列模型取得文字嵌入：

    模型名稱 說明 輸出維度 序列長度上限 支援的文字語言
    gemini-embedding-001 在英文、多語言和程式碼工作方面表現優異。這項模型整合了先前的專用模型 (例如 text-embedding-005 和 text-multilingual-embedding-002)，並在各自的領域中展現更出色的效能。詳情請參閱我們的技術報告。 最多 3072 個 2048 個符記 支援的文字語言
    text-embedding-005 專精於英文和程式碼工作。 最多 768 個 2048 個符記 英文
    text-multilingual-embedding-002 擅長處理多語言工作。 最多 768 個 2048 個符記 支援的文字語言

    如要獲得最佳嵌入品質，請使用 gemini-embedding-001，這是我們設計的大型模型，可提供最高效能。請注意，gemini-embedding-001 每個要求僅支援一個執行個體。

    取得某段文字的文字嵌入

    您可以使用 Vertex AI API 或 Python 適用的 Vertex AI SDK，取得文字片段的文字嵌入。

    API 上限

    每個要求最多只能輸入 250 則文字。 API 的輸入詞元上限為 20,000 個。 如果輸入內容超過這項限制，系統就會傳回 400 錯誤。此外，每段輸入文字最多只能有 2048 個符記，超出上限的文字會遭到截斷。您也可以將 autoTruncate 設為 false，停用無聲截斷功能。

    詳情請參閱「文字嵌入限制」。

    選擇嵌入維度

    所有模型預設都會生成完整長度的嵌入向量。對於 gemini-embedding-001，這個向量有 3072 個維度，其他模型則會產生 768 維向量。不過，使用者可以透過 output_dimensionality 參數控制輸出嵌入向量的大小。選取較小的輸出維度可節省儲存空間，並提高下游應用程式的運算效率，同時幾乎不會犧牲品質。

    下列範例使用 gemini-embedding-001 模型。

    Python

    安裝

    pip install --upgrade google-genai

    詳情請參閱 SDK 參考說明文件。

    設定環境變數，透過 Vertex AI 使用 Gen AI SDK： 

    # Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
     

    from google import genai
from google.genai.types import EmbedContentConfig

client = genai.Client()
response = client.models.embed_content(
    model="gemini-embedding-001",
    contents=[
        "How do I get a driver's license/learner's permit?",
        "How long is my driver's license valid for?",
        "Driver's knowledge test study guide",
    ],
    config=EmbedContentConfig(
        task_type="RETRIEVAL_DOCUMENT",  # Optional
        output_dimensionality=3072,  # Optional
        title="Driver's License",  # Optional
    ),
)
print(response)
# Example response:
# embeddings=[ContentEmbedding(values=[-0.06302902102470398, 0.00928034819662571, 0.014716853387653828, -0.028747491538524628, ... ],
# statistics=ContentEmbeddingStatistics(truncated=False, token_count=13.0))]
# metadata=EmbedContentMetadata(billable_character_count=112)

    將嵌入項目新增至向量資料庫

    生成嵌入後，您可以將嵌入新增至向量資料庫，例如 Vector Search。這有助於縮短擷取作業的延遲時間，而且隨著資料量增加，這項做法也變得越來越重要。

    如要進一步瞭解 Vector Search，請參閱「Vector Search 總覽」。

    後續步驟