AlloyDB 總覽：註冊及呼叫遠端 AI 模型

註冊 AI 模型端點並透過「模型端點管理」叫用預測功能前，請先瞭解註冊 AI 模型端點和叫用預測功能的重要概念。本文將概略說明模型端點管理、用途，以及架構、模型供應商和類型、驗證，以及各種函式類型等概念。

如要向 AlloyDB Omni 註冊遠端模型端點，請參閱「在 AlloyDB Omni 中註冊及呼叫遠端 AI 模型」。

總覽

模型端點管理工具是 AlloyDB AI 的一項功能，內含可協助您註冊及管理 AI 模型中繼資料的函式和運算子。您可以註冊模型端點、在資料庫叢集中管理模型端點中繼資料，以及使用 SQL 查詢呼叫遠端模型端點。

模型端點管理服務提供 google_ml_integration 擴充功能，其中包含可讓您向 AlloyDB 註冊 AI 模型相關中繼資料的函式。系統會使用這項已註冊的中繼資料產生向量嵌入或叫用預測。

AlloyDB AI 查詢引擎是一套以模型端點管理 (搶先版) 為基礎的功能，並支援 AI 運算子，可讓您將自然語言片語與 SQL 查詢結合，例如用於篩選器和聯結的 ai.if()、用於排序的 ai.rank()，以及用於產生資料摘要的 ai.generate()。此外，還支援 Vertex AI 多模態和排名模型。

您可以使用模型端點管理服務註冊下列範例模型類型：

  • Vertex AI 文字嵌入和一般模型
  • Vertex AI 多模態模型 (預先發布版)
  • Vertex AI 排名模型 (預先發布版)
  • 第三方供應商提供的嵌入模型，例如 Hugging Face 或 OpenAI
  • 自訂代管文字嵌入模型，包括自代管模型或透過私人端點提供的模型
  • 使用 JSON 架構 API 的通用模型，例如：Hugging Face 託管的 facebook/bart-large-mnli 模型、Vertex AI Model Garden 的 gemini-pro 模型，或 Anthropic 的 claude 模型

用途

您可以呼叫已註冊的模型端點，與資料庫中的現有資料互動，產生嵌入或預測。以下列舉一些應用實例：

  • 透過交易應用程式進行即時推論：根據使用者目前的瀏覽記錄和購物車內容，提供即時建議。
  • 辨識情緒並生成摘要：針對顧客評論資料庫，生成摘要或辨識每則評論的主要情緒。
  • 智慧搜尋和檢索系統：為內部知識庫資料庫建構搜尋系統，並使用 AI 輔助的 SQL 運算子 (而非關鍵字) 進行查詢。
  • 個人化使用者體驗：根據每位使用者過去的互動，動態調整內容平台顯示的內容。

如要進一步瞭解 AlloyDB AI 的用途，請參閱「AlloyDB AI 用途」。

運作方式

您可以透過模型端點管理服務，註冊符合下列條件的模型端點：

  • 模型輸入和輸出內容支援 JSON 格式。
  • 模型可使用 REST 通訊協定呼叫。

向模型端點管理服務註冊模型端點時，系統會為每個端點註冊您提供的專屬模型 ID，做為模型的參照。

您可以使用模型端點 ID 查詢模型，執行下列操作：

  • 生成嵌入項目，將文字提示轉換為數值向量。在資料庫中啟用 vector 擴充功能後，即可將產生的嵌入項目儲存為向量資料。詳情請參閱「使用 pgvector 查詢及建立嵌入索引」。

  • 生成多模態嵌入項目，將文字、圖片和影片等多模態資料轉換為嵌入項目。(預覽)

  • 根據以自然語言陳述的條件，為查詢中的項目清單排序或評分。(預覽)

  • 使用 SQL 叫用預測。

基本概念

開始使用模型端點管理服務前，請先瞭解連線及使用模型所需的概念。

結構定義

應用程式可使用 google_ml_integration 擴充功能存取模型端點管理服務。google_ml_integration 擴充功能包含 public、google_ml 和 ai 架構中的函式。所有函式都包含在 google_ml 結構定義中，部分函式則適用於 public 和 ai 結構定義。

如要進一步瞭解結構定義，請參閱「結構定義」。

模型提供者

模型供應商：表示支援的模型代管供應商。設定模型供應商是選用步驟，但有助於管理模型端點，方法是識別供應商，並自動為支援的模型設定標頭格式。

如要進一步瞭解模型供應商，請參閱「模型供應商」。

模型類型

模型類型：指出 AI 模型的類型。這項擴充功能支援文字嵌入，以及任何一般模型類型。註冊模型端點時，可設定的支援模型類型為 text-embedding 和 generic。

註冊一般模型端點時，設定模型類型為選用步驟，因為 generic 是預設模型類型。

如要進一步瞭解模型類型，請參閱模型類型。

驗證

「驗證類型」會指出您可使用哪種驗證類型，透過 google_ml_integration 擴充功能連線至模型端點管理服務。驗證設定為選用，只有在需要驗證才能存取模型時才需要設定。

如要進一步瞭解驗證，請參閱驗證。

預測函式

預測函式是 SQL 函式，可讓您從 AlloyDB 資料庫內與 AI 模型互動。您可以使用這些函式，透過標準 SQL 查詢將資料傳送至模型端點，並生成嵌入或預測結果。

如要進一步瞭解預測函式，請參閱「預測函式」。

運算子函式

google_ml_integration 擴充功能包含下列運算子函式，可使用預設的 Gemini，透過 AI 輔助的 SQL 運算子進行查詢。

如要進一步瞭解運算子函式，請參閱運算子函式。

轉換函式

轉換函式會將輸入內容修改為模型可理解的格式，並將模型回覆轉換為預測函式預期的格式。註冊沒有內建支援的 text-embedding 模型端點時，會使用轉換函式。轉換函式的簽章取決於模型預期的輸入內容。

如要進一步瞭解轉換函式，請參閱「轉換函式」。

HTTP 標頭產生函式

HTTP 標頭產生函式會以 JSON 鍵值配對的形式產生輸出內容，做為 HTTP 標頭。預測函式的簽章會定義標頭產生函式的簽章。

如要進一步瞭解 HTTP 標頭產生函式，請參閱「HTTP 標頭產生函式」。

後續步驟