执行语义搜索和检索增强生成
如需就此功能提供反馈或请求支持,请发送电子邮件至 bq-vector-search@google.com。
本教程将指导您完成创建和使用文本嵌入的端到端流程,包括使用向量索引改善搜索效果。
本教程介绍了以下任务:
- 基于 Vertex AI 大型语言模型 (LLM) 创建 BigQuery ML 远程模型。
- 将远程模型与
ML.GENERATE_EMBEDDING
函数结合使用,以根据文本在 BigQuery 表中生成嵌入。 - 创建向量索引以将嵌入编入索引。
- 将
VECTOR_SEARCH
函数与嵌入结合使用以搜索类似文本。 - 通过使用
ML.GENERATE_TEXT
函数生成文本,并使用向量搜索结果增强提示输入和改善结果,从而执行检索增强生成 (RAG)。
本教程使用 BigQuery 公共表 patents-public-data.google_patents_research.publications
。
所需的角色和权限
如需创建连接,您需要拥有以下 Identity and Access Management (IAM) 角色的成员资格:
roles/bigquery.connectionAdmin
如需向连接的服务账号授予权限,您需要以下权限:
resourcemanager.projects.setIamPolicy
以下两个角色提供本教程中的其余 BigQuery 操作所需的 IAM 权限:
- BigQuery Data Editor (
roles/bigquery.dataEditor
),用于创建模型、表和索引。 - BigQuery User (
roles/bigquery.user
),用于运行 BigQuery 作业。
- BigQuery Data Editor (
费用
在本文档中,您将使用 Google Cloud 的以下收费组件:
- BigQuery ML:您在 BigQuery 中处理数据会产生费用。
- Vertex AI:调用远程模型表示的 Vertex AI 服务会产生费用。
您可使用价格计算器根据您的预计使用情况来估算费用。
如需详细了解 BigQuery 价格,请参阅 BigQuery 文档中的 BigQuery 价格。
如需详细了解 Vertex AI 价格,请参阅 Vertex AI 价格页面。
准备工作
-
在 Google Cloud Console 中的项目选择器页面上,选择或创建一个 Google Cloud 项目。
-
启用 BigQuery, BigQuery Connection, and Vertex AI API。
创建数据集
创建 BigQuery 数据集以存储您的机器学习模型:
在 Google Cloud 控制台中,转到 BigQuery 页面。
在探索器窗格中,点击您的项目名称。
点击
查看操作 > 创建数据集。在创建数据集页面上,执行以下操作:
在数据集 ID 部分,输入
bqml_tutorial
。在位置类型部分,选择多区域,然后选择 US (multiple regions in United States)(美国[美国的多个区域])。
公共数据集存储在
US
多区域中。为简单起见,请将数据集存储在同一位置。保持其余默认设置不变,然后点击创建数据集。
创建连接
创建 Cloud 资源连接并获取连接的服务账号。 在上一步中创建的数据集所在的位置创建连接。
从下列选项中选择一项:
控制台
转到 BigQuery 页面。
如需创建连接,请点击
添加,然后点击与外部数据源的连接。在连接类型列表中,选择 Vertex AI 远程模型、远程函数和 BigLake(Cloud 资源)。
在连接 ID 字段中,输入连接的名称。
点击创建连接。
点击转到连接。
在连接信息窗格中,复制服务账号 ID 以在后续步骤中使用。
bq
在命令行环境中,创建连接:
bq mk --connection --location=REGION --project_id=PROJECT_ID \ --connection_type=CLOUD_RESOURCE CONNECTION_ID
--project_id
参数会替换默认项目。替换以下内容:
REGION
:您的连接区域PROJECT_ID
:您的 Google Cloud 项目 IDCONNECTION_ID
:您的连接的 ID
当您创建连接资源时,BigQuery 会创建一个唯一的系统服务账号,并将其与该连接相关联。
问题排查:如果您收到以下连接错误,请更新 Google Cloud SDK:
Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
检索并复制服务账号 ID 以在后续步骤中使用:
bq show --connection PROJECT_ID.REGION.CONNECTION_ID
输出类似于以下内容:
name properties 1234.REGION.CONNECTION_ID {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
Terraform
将以下部分附加到 main.tf
文件中。
## This creates a cloud resource connection. ## Note: The cloud resource nested object has only one output only field - serviceAccountId. resource "google_bigquery_connection" "connection" { connection_id = "CONNECTION_ID" project = "PROJECT_ID" location = "REGION" cloud_resource {} }替换以下内容:
CONNECTION_ID
:您的连接的 IDPROJECT_ID
:您的 Google Cloud 项目 IDREGION
:您的连接区域
为服务账号授予访问权限
如需向连接的服务账号授予适当的角色以访问 Vertex AI 服务,请执行以下步骤:
前往 IAM 和管理页面。
点击
授予访问权限。在新的主账号字段中,输入您之前复制的服务账号 ID。
在选择角色字段中,选择 Vertex AI,然后选择 Vertex AI User 角色。
点击保存。
创建用于文本嵌入生成的远程模型
创建表示托管式 Vertex AI 文本嵌入生成模型的远程模型:
在 Google Cloud 控制台中,转到 BigQuery 页面。
在查询编辑器中,运行以下语句:
CREATE OR REPLACE MODEL `bqml_tutorial.embedding_model` REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS (ENDPOINT = 'textembedding-gecko@003');
替换以下内容:
LOCATION
:连接位置CONNECTION_ID
:BigQuery 连接的 ID当您在 Google Cloud 控制台中查看连接详情时,
CONNECTION_ID
是连接 ID 中显示的完全限定连接 ID 的最后一部分中的值,例如projects/myproject/locations/connection_location/connections/myconnection
查询需要几秒钟才能完成,之后模型
embedding_model
会显示在探索器窗格的bqml_tutorial
数据集中。由于查询使用CREATE MODEL
语句来创建模型,因此没有查询结果。
生成文本嵌入
使用 ML.GENERATE_EMBEDDING
函数根据专利摘要生成文本嵌入,然后将其写入 BigQuery 表以供搜索。
在 Google Cloud 控制台中,转到 BigQuery 页面。
在查询编辑器中,运行以下语句:
CREATE OR REPLACE TABLE `bqml_tutorial.embeddings` AS SELECT * FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`, ( SELECT *, abstract AS content FROM `patents-public-data.google_patents_research.publications` WHERE LENGTH(abstract) > 0 AND LENGTH(title) > 0 AND country = 'Singapore' ) ) WHERE LENGTH(ml_generate_embedding_status) = 0;
由于 Vertex AI LLM 配额或服务不可用,使用 ML.GENERATE_EMBEDDING
函数生成嵌入可能会失败。错误详情会在 ml_generate_embedding_status
列中返回。空 ml_generate_embedding_status
列表示成功生成嵌入。
如需了解 BigQuery 中的替代文本嵌入生成方法,请参阅使用预训练的 TensorFlow 模型嵌入文本教程。
创建矢量索引
如需创建向量索引,请使用 CREATE VECTOR INDEX
数据定义语言 (DDL) 语句:
转到 BigQuery 页面。
在查询编辑器中,运行以下 SQL 语句:
CREATE OR REPLACE VECTOR INDEX my_index ON `bqml_tutorial.embeddings`(ml_generate_embedding_result) OPTIONS(index_type = 'IVF', distance_type = 'COSINE', ivf_options = '{"num_lists":500}')
验证向量索引创建
向量索引是异步填充的。如需检查索引是否可供使用,您可以查询 INFORMATION_SCHEMA.VECTOR_INDEXES
视图,并验证 coverage_percentage
列值是否大于 0
且 last_refresh_time
列值不是 NULL
。
转到 BigQuery 页面。
在查询编辑器中,运行以下 SQL 语句:
SELECT table_name, index_name, index_status, coverage_percentage, last_refresh_time, disable_reason FROM `PROJECT_ID.bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES`
将
PROJECT_ID
替换为您的项目 ID。
使用向量索引执行文本相似度搜索
使用 VECTOR_SEARCH
函数搜索与文本查询生成的嵌入匹配的前 5 项相关专利。您在此查询中用于生成嵌入的模型必须与您在要比较的表中用于生成嵌入的模型相同,否则搜索结果将不准确。
转到 BigQuery 页面。
在查询编辑器中,运行以下 SQL 语句:
SELECT query.query, base.publication_number, base.title, base.abstract FROM VECTOR_SEARCH( TABLE `bqml_tutorial.embeddings`, 'ml_generate_embedding_result', ( SELECT ml_generate_embedding_result, content AS query FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`, (SELECT 'improving password security' AS content)) ), top_k => 5, options => '{"fraction_lists_to_search": 0.01}')
输出类似于以下内容:
+-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+ | query | publication_number | title | abstract | +-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+ | improving password security | SG-120868-A1 | Data storage device security method and a... | Methods for improving security in data stora... | | improving password security | SG-10201610585W-A | Passsword management system and process... | PASSSWORD MANAGEMENT SYSTEM AND PROCESS ... | | improving password security | SG-10201901821S-A | Method and apparatus for unlocking user... | METHOD AND APPARATUS FOR UNLOCKING USER... | | improving password security | SG-10201902412Q-A | Password protection question setting method... | PASSWORD PROTECTION QUESTION SETTING METHOD... | | improving password security | SG-194509-A1 | System and method for web-based... | A security authentication method comprises... | +-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+
创建用于文本生成的远程模型
创建表示托管式 Vertex AI 文本生成模型的远程模型:
在 Google Cloud 控制台中,转到 BigQuery 页面。
在查询编辑器中,运行以下语句:
CREATE OR REPLACE MODEL `bqml_tutorial.text_model` REMOTE WITH CONNECTION `LOCATION.CONNECTION_ID` OPTIONS (ENDPOINT = 'text-bison-32k');
替换以下内容:
LOCATION
:连接位置CONNECTION_ID
:BigQuery 连接的 ID当您在 Google Cloud 控制台中查看连接详情时,
CONNECTION_ID
是连接 ID 中显示的完全限定连接 ID 的最后一部分中的值,例如projects/myproject/locations/connection_location/connections/myconnection
查询需要几秒钟才能完成,之后模型
text_model
会显示在探索器窗格的bqml_tutorial
数据集中。由于查询使用CREATE MODEL
语句来创建模型,因此没有查询结果。
生成通过向量搜索结果增强的文本
使用 ML.GENERATE_TEXT
函数将搜索结果作为提示提供,以生成文本
在 Google Cloud 控制台中,转到 BigQuery 页面。
在查询编辑器中,运行以下语句:
SELECT ml_generate_text_llm_result AS generated, prompt FROM ML.GENERATE_TEXT( MODEL `bqml_tutorial.text_model`, ( SELECT CONCAT( 'Propose some project ideas to improve user password security using the context below: ', STRING_AGG( FORMAT("patent title: %s, patent abstract: %s", base.title, base.abstract), ',\n') ) AS prompt, FROM VECTOR_SEARCH( TABLE `bqml_tutorial.embeddings`, 'text_embedding', ( SELECT ml_generate_embedding_result, content AS query FROM ML.GENERATE_EMBEDDING( MODEL `bqml_tutorial.embedding_model`, (SELECT 'improving password security' AS content) ) ), top_k => 5, options => '{"fraction_lists_to_search": 0.01}') ), STRUCT(600 AS max_output_tokens, TRUE AS flatten_json_output));
输出类似于以下内容:
+------------------------------------------------+------------------------------------------------------------+ | generated | prompt | +------------------------------------------------+------------------------------------------------------------+ | **Project Ideas to Improve User Password | Propose some project ideas to improve user password | | Security** | security using the context below: patent title: Data | | | storage device security method and apparatus, patent | | 1. **Develop a password manager that uses a | abstract: Methods for improving security in data storage | | synchronization method to keep encrypted | devices are disclosed. The methods include a ..., | | passwords changing at each transmission... | patent title: Active new password entry dialog with | | 2. **Create a new password entry dialog that | compact visual indication of adherence to password policy, | | provides a compact visual indication of | patent abstract: An active new password entry dialog..., | | adherence to password policies.** ... | patent title: Method and system for protecting a password | | 3. **Develop a system for protecting a | during an authentication process, patent abstract: A system| | password during an authentication process by | for providing security for a personal password during an | | using representative characters to disguise... | authenticationprocess. The system combines the use of... | +------------------------------------------------+------------------------------------------------------------+
清理
- 在 Google Cloud 控制台中,进入管理资源页面。
- 在项目列表中,选择要删除的项目,然后点击删除。
- 在对话框中输入项目 ID,然后点击关闭以删除项目。