Mendapatkan embedding teks

Dokumen ini menjelaskan cara membuat embedding teks menggunakan Vertex AI Text embeddings API.

Vertex AI text embeddings API menggunakan representasi vektor padat: gemini-embedding-001, misalnya, menggunakan vektor 3072 dimensi. Model penyematan vektor padat menggunakan metode deep learning yang serupa dengan yang digunakan oleh model bahasa besar. Tidak seperti vektor renggang, yang cenderung memetakan kata secara langsung ke angka, vektor padat dirancang untuk merepresentasikan makna sebuah teks dengan lebih baik. Manfaat menggunakan embedding vektor padat dalam AI generatif adalah bahwa alih-alih menelusuri kecocokan kata atau sintaksis langsung, Anda dapat menelusuri bagian yang sesuai dengan arti kueri dengan lebih baik, meskipun bagian tersebut tidak menggunakan bahasa yang sama.

Vektor dinormalisasi, sehingga Anda dapat menggunakan kesamaan kosinus, perkalian titik, atau jarak Euclidean untuk memberikan peringkat kesamaan yang sama.

• Untuk mempelajari embedding lebih lanjut, lihat ringkasan API embedding.
• Untuk mempelajari model embedding teks, lihat Embedding teks.
• Untuk mengetahui informasi tentang bahasa yang didukung setiap model embedding, lihat Bahasa teks yang didukung.

Untuk melihat contoh cara mendapatkan penyematan teks, jalankan notebook "Mulai Menggunakan Penyematan Teks + Vertex AI Vector Search" di salah satu lingkungan berikut:

Buka di Colab | Buka di Colab Enterprise | Buka di Vertex AI Workbench | Lihat di GitHub

Sebelum memulai

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Vertex AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Vertex AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

1. Pilih jenis tugas untuk tugas penyematan Anda.

Model yang didukung

Model Google

Anda bisa mendapatkan embedding teks dengan menggunakan model berikut:

Nama model	Deskripsi	Dimensi Output	Panjang urutan maksimum	Bahasa teks yang didukung
gemini-embedding-001	Performa canggih untuk tugas bahasa Inggris, multibahasa, dan kode. Model ini menyatukan model khusus yang sebelumnya seperti text-embedding-005 dan text-multilingual-embedding-002 serta mencapai performa yang lebih baik di masing-masing domainnya. Baca Laporan Teknologi kami untuk mengetahui detail selengkapnya.	hingga 3072	2048 token	Bahasa teks yang didukung
text-embedding-005	Khusus dalam tugas bahasa Inggris dan kode.	hingga 768	2048 token	Inggris
text-multilingual-embedding-002	Terspesialisasi dalam tugas multibahasa.	hingga 768	2048 token	Bahasa teks yang didukung

Untuk kualitas embedding yang lebih baik, gemini-embedding-001 adalah model besar kami yang dirancang untuk memberikan performa tertinggi.

Catatan: Hanya gunakan model yang tercantum dalam tabel model yang didukung. Jangan tentukan model tanpa akhiran @version atau @latest. Nama model ini tidak dianggap valid.

Model open source

Anda bisa mendapatkan embedding teks dengan menggunakan model berikut:

Nama model	Deskripsi	Dimensi output	Panjang urutan maksimum	Bahasa teks yang didukung
multilingual-e5-small	Bagian dari rangkaian model embedding teks E5. Varian kecil berisi 12 lapisan.	Hingga 384	512 token	Bahasa yang didukung
multilingual-e5-large	Bagian dari rangkaian model embedding teks E5. Varian Large berisi 24 lapisan.	Hingga 1.024	512 token	Bahasa yang didukung

Untuk memulai, lihat kartu model keluarga E5. Untuk mengetahui informasi selengkapnya tentang model terbuka, lihat Model terbuka untuk MaaS

Mendapatkan embedding teks untuk cuplikan teks

Anda bisa mendapatkan embedding teks untuk cuplikan teks dengan menggunakan Vertex AI API atau Vertex AI SDK untuk Python.

Batas API

Untuk setiap permintaan, Anda dibatasi hingga 250 teks input. API memiliki batas token input maksimum 20.000. Input yang melebihi batas ini akan menghasilkan error 400. Setiap teks input individu dibatasi lebih lanjut hingga 2.048 token; kelebihannya akan dipangkas tanpa pemberitahuan. Anda juga dapat menonaktifkan pemotongan senyap dengan menyetel autoTruncate ke false.

Untuk mengetahui informasi selengkapnya, lihat Batas embedding teks.

Pilih dimensi penyematan

Semua model menghasilkan vektor embedding panjang penuh secara default. Untuk gemini-embedding-001, vektor ini memiliki 3.072 dimensi, dan model lainnya menghasilkan vektor 768 dimensi. Namun, dengan menggunakan parameter output_dimensionality, pengguna dapat mengontrol ukuran vektor sematan output. Memilih dimensi output yang lebih kecil dapat menghemat ruang penyimpanan dan meningkatkan efisiensi komputasi untuk aplikasi hilir, sekaligus tidak banyak mengorbankan kualitas.

Contoh berikut menggunakan model gemini-embedding-001.

Python

Instal

pip install --upgrade google-genai

Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.

Tetapkan variabel lingkungan untuk menggunakan Gen AI SDK dengan Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

from google import genai
from google.genai.types import EmbedContentConfig

client = genai.Client()
response = client.models.embed_content(
    model="gemini-embedding-001",
    contents=[
        "How do I get a driver's license/learner's permit?",
        "How long is my driver's license valid for?",
        "Driver's knowledge test study guide",
    ],
    config=EmbedContentConfig(
        task_type="RETRIEVAL_DOCUMENT",  # Optional
        output_dimensionality=3072,  # Optional
        title="Driver's License",  # Optional
    ),
)
print(response)
# Example response:
# embeddings=[ContentEmbedding(values=[-0.06302902102470398, 0.00928034819662571, 0.014716853387653828, -0.028747491538524628, ... ],
# statistics=ContentEmbeddingStatistics(truncated=False, token_count=13.0))]
# metadata=EmbedContentMetadata(billable_character_count=112)

Go

Pelajari cara menginstal atau mengupdate Go.

Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.

Tetapkan variabel lingkungan untuk menggunakan Gen AI SDK dengan Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True

import (
	"context"
	"fmt"
	"io"

	"google.golang.org/genai"
)

// generateEmbedContentWithText shows how to embed content with text.
func generateEmbedContentWithText(w io.Writer) error {
	ctx := context.Background()

	client, err := genai.NewClient(ctx, &genai.ClientConfig{
		HTTPOptions: genai.HTTPOptions{APIVersion: "v1"},
	})
	if err != nil {
		return fmt.Errorf("failed to create genai client: %w", err)
	}

	outputDimensionality := int32(3072)
	config := &genai.EmbedContentConfig{
		TaskType:             "RETRIEVAL_DOCUMENT",  //optional
		Title:                "Driver's License",    //optional
		OutputDimensionality: &outputDimensionality, //optional
	}

	contents := []*genai.Content{
		{
			Parts: []*genai.Part{
				{
					Text: "How do I get a driver's license/learner's permit?",
				},
				{
					Text: "How long is my driver's license valid for?",
				},
				{
					Text: "Driver's knowledge test study guide",
				},
			},
			Role: "user",
		},
	}

	modelName := "gemini-embedding-001"
	resp, err := client.Models.EmbedContent(ctx, modelName, contents, config)
	if err != nil {
		return fmt.Errorf("failed to generate content: %w", err)
	}

	fmt.Fprintln(w, resp)

	// Example response:
	// embeddings=[ContentEmbedding(values=[-0.06302902102470398, 0.00928034819662571, 0.014716853387653828, -0.028747491538524628, ... ],
	// statistics=ContentEmbeddingStatistics(truncated=False, token_count=13.0))]
	// metadata=EmbedContentMetadata(billable_character_count=112)

	return nil
}

Menambahkan embedding ke database vektor

Setelah membuat embedding, Anda dapat menambahkan embedding ke database vektor, seperti Vector Search. Hal ini memungkinkan pengambilan dengan latensi rendah, dan sangat penting seiring bertambahnya ukuran data Anda.

Untuk mempelajari Vector Search lebih lanjut, lihat Ringkasan Vector Search.

Langkah berikutnya

• Untuk mempelajari lebih lanjut pembatasan kapasitas, lihat Pembatasan kapasitas AI Generatif di Vertex AI.
• Untuk mendapatkan prediksi batch untuk embedding, lihat Mendapatkan prediksi embedding teks batch
  • Untuk mempelajari embedding multimodal lebih lanjut, lihat Mendapatkan embedding multimodal
• Untuk menyesuaikan embedding, lihat Menyesuaikan embedding teks
• Untuk mempelajari lebih lanjut riset di balik text-embedding-005 dan text-multilingual-embedding-002, lihat makalah riset Gecko: Versatile Text Embeddings Distilled from Large Language Models.