Vertex AI API:建構搜尋和 RAG 體驗

Vertex AI 提供一系列 API,協助您建構自己的檢索增強生成 (RAG) 應用程式或搜尋引擎。本頁面將介紹這些 API。

擷取和生成

檢索增強生成 (RAG) 是一種方法,可讓大型語言模型 (LLM) 根據您選擇的資料來源生成回覆。RAG 分為兩個階段:

  1. 擷取:快速取得最相關的事實是常見的搜尋問題。有了 RAG,您就能快速擷取重要事實,生成回覆。
  2. 生成:LLM 會參考檢索到的資訊,生成有依據的回覆。

Vertex AI 提供這兩個階段的選項,可滿足各種開發人員需求。

擷取

請選擇最符合需求的擷取方式:

  • Vertex AI Search:Vertex AI Search 是符合 Google 搜尋品質的資訊檢索引擎,您可將其做為元件,搭配企業資料建構出任何生成式 AI 應用程式。Vertex AI Search 是可立即用於 RAG 的語意和關鍵字搜尋引擎,能夠處理各種文件類型,並透過連接器連結至各種來源系統,包括 BigQuery 和許多第三方系統。

    詳情請參閱 Vertex AI Search

  • 建構自己的檢索功能:如要建構語意搜尋功能,可以運用 Vertex AI API,為自訂 RAG 系統的元件提供支援。這套 API 可高效剖析文件、嵌入生成內容、進行向量搜尋,並按語意排名。使用這些低階 API 可讓您充分彈性設計擷取器,同時運用低階 Vertex AI API,加快上市時間並確保高品質。

    詳情請參閱「建構自己的檢索擴增生成模型」。

  • 使用現有檢索:您可以將現有搜尋結果做為基礎生成的檢索器。您也可以使用 RAG 專用的 Vertex API,升級現有搜尋功能,提升搜尋品質。詳情請參閱基礎概念總覽

  • Vertex AI RAG Engine:Vertex AI RAG Engine 提供全代管的 RAG 協調執行階段,可讓開發人員建構 RAG,用於正式環境和企業級情境。

    詳情請參閱 Vertex AI 的生成式 AI 說明文件中的 Vertex AI RAG 引擎總覽

  • Google 搜尋:當您為 Gemini 模型使用「以 Google 搜尋建立基準」功能,Gemini 會使用 Google 搜尋,並根據相關搜尋結果輸出內容。這個擷取方法不需要管理,且可提供全球各地的知識給 Gemini。

    詳情請參閱 Vertex AI 生成式 AI 說明文件中的「使用 Google 搜尋進行基礎訓練」。

產生

選擇最符合需求的產生方式:

  • 根據您的資料生成回覆: 針對使用者的查詢生成有憑有據的回覆。有依據的生成 API 使用經過微調的專用 Gemini 模型,可有效減少生成內容有誤的情況,並提供以來源或第三方來源為依據的回覆,包括參考有依據的支援內容。

    詳情請參閱「使用 RAG 生成有根據的答案」。

    您也可以使用 Vertex AI 上的生成式 AI,以 Vertex AI Search 資料做為回覆的基準。詳情請參閱「以資料為基礎」一文。

  • 以 Google 搜尋建立基準:Gemini 是 Google 最強大的模型,可直接以 Google 搜尋建立基準。您可以使用這項功能,建構完全自訂的基礎生成解決方案。

    詳情請參閱 Vertex AI 生成式 AI 說明文件中的「以 Google 搜尋結果為回覆內容的依據」。

  • Model Garden:如要完全掌控並選擇模型,可以使用 Vertex AI Model Garden 中的任何模型生成內容。

建構自己的檢索增強生成功能

開發自訂 RAG 系統以建立基準,可讓您在流程的每個步驟享有彈性和控制權。Vertex AI 提供一系列 API,協助您建立專屬的搜尋解決方案。使用這些 API 可充分彈性設計 RAG 應用程式,同時運用這些低階 Vertex AI API,加快上市時間並確保高品質。

  • Document AI 版面配置剖析器。 Document AI Layout Parser 可將各種格式的文件轉換為結構化表示法,方便存取段落、表格、清單等內容,以及標題、頁首和頁尾等結構元素,並建立情境感知分塊,以便在各種生成式 AI 和探索應用程式中檢索資訊。

    詳情請參閱 Document AI 說明文件中的「Document AI 版面配置剖析器」。

  • Embeddings API:Vertex AI Embeddings API 可讓您為文字或多模態輸入內容建立嵌入項目。嵌入項目是浮點數向量,可擷取輸入內容的意義。您可以使用嵌入項目,透過向量搜尋功能執行語意搜尋。

    詳情請參閱 Vertex AI 的生成式 AI 說明文件中的「文字嵌入」和「多模態嵌入」。

  • Vector Search。檢索引擎是 RAG 或搜尋應用程式的重要部分。Vertex AI Vector Search 是一種檢索引擎,可從數十億個語意相似或語意相關的項目中進行大規模搜尋,不僅每秒查詢次數 (QPS) 高、召回率高、延遲時間短,而且經濟實惠。可搜尋密集嵌入,並在公開搶先版中支援稀疏嵌入關鍵字搜尋和混合搜尋。

    詳情請參閱 Vertex AI 說明文件中的 Vertex AI Vector Search 總覽

  • 排名 API。 排序 API 會接收文件清單,並根據文件與特定查詢的相關程度重新排序。相較於單純根據文件和查詢的語意相似度計算的嵌入內容,Ranking API 可更精確地評估文件是否能回答特定查詢。

    詳情請參閱「使用排序 API 提升搜尋和 RAG 品質」。

  • Grounded Generation API。使用有憑有據的生成 API,針對使用者提示生成有憑有據的答案。基準來源可以是 Vertex AI Search 資料儲存庫、您提供的自訂資料,或是 Google 搜尋。

    詳情請參閱「生成有根據的答案」。

  • 生成內容 API。使用生成內容 API,針對使用者提示生成有根據的回覆。基準來源可以是 Vertex AI Search 資料儲存庫或 Google 搜尋。

    詳情請參閱「以 Google 搜尋建立基準」或「以自有資料建立基準」。

  • 檢查基礎 API。 檢查根據 API 會判斷指定文字在指定參考文字集中的根據程度。這項 API 可從參考文字生成佐證引文,指出參考文字中支援指定文字的部分。舉例來說,您可以使用這項 API 評估 RAG 系統回覆的根據。此外,這項 API 也會生成矛盾的引文,顯示指定文字和參考文字不一致的地方,但這項功能目前仍處於實驗階段。

    詳情請參閱「檢查基礎」。

工作流程:從非結構化資料生成有憑有據的回覆

以下工作流程說明如何整合 Vertex AI RAG API,從非結構化資料生成有根據的回覆。

  1. 將非結構化文件 (例如 PDF 檔案、HTML 檔案或含有文字的圖片) 匯入 Cloud Storage 位置。
  2. 使用版面配置剖析器處理匯入的文件。 版面配置剖析器會將非結構化文件分解成多個區塊,並將非結構化內容轉換為結構化表示法。版面配置剖析器也會從區塊中擷取註解。
  3. 使用 Vertex AI 文字嵌入 API,為區塊建立文字嵌入
  4. 使用 Vector Search 建立索引並擷取區塊嵌入項目。
  5. 使用排序 API 為區塊排序,並找出排名最高的區塊。
  6. 使用 grounded generation APIgenerate content API,根據排名最高的區塊生成有根據的答案。

如果您使用 Google 模型以外的答案生成模型生成答案,可以透過「檢查基礎」方法檢查這些答案的基礎