生成式 AI 新手指南

本指南將介紹生成式 AI 的核心概念，以及在 Vertex AI 上建構應用程式的工作流程，涵蓋下列主題：

  • 內容生成工作流程：從提示模型到接收安全且相關的回覆，全面瞭解端對端程序。
  • 基礎模型：瞭解 Vertex AI 提供的各種生成式 AI 模型，包括多模態 Gemini 模型。
  • 模型自訂和擴增：如何自訂模型以執行特定工作，以及如何使用基礎和函式呼叫功能，將模型連結至外部資訊。
  • 開始使用快速入門指南：連結至實作教學課程，開始使用 Vertex AI 的生成式 AI 建構內容。

這份入門指南將介紹生成式 AI 的核心技術，並說明這些技術如何相互配合，為聊天機器人和應用程式提供支援。生成式 AI (也稱為 genAI 或 gen AI) 是機器學習 (ML) 領域，主要開發及使用 ML 模型來生成新內容。

生成式 AI 模型通常稱為大型語言模型 (LLM)，因為這類模型規模龐大，且能理解及生成自然語言。不過，視模型訓練所用的資料而定，這些模型可以解讀及生成多種模態的內容，包括文字、圖片、影片和音訊。可處理多種資料模態的模型稱為多模態模型。

Google 提供 Gemini 系列生成式 AI 模型，專為多模態用途而設計，可處理圖片、影片和文字等多種形式的資訊。

概念

  • 提示：傳送給生成式 AI 模型的自然語言要求，用來引導模型提供回覆。
  • 基礎模型：預先訓練的大型生成式 AI 模型，例如 Gemini，可用於各種工作。
  • 模型調整：自訂基礎模型的程序，可讓模型更有效率地執行特定工作。
  • 建立基準：將模型回覆連結至可驗證的資訊來源，提高準確度並減少幻覺。
  • 函式呼叫：這項功能可讓模型與外部 API 互動，以擷取即時資訊或執行動作。

生成內容

如要讓生成式 AI 模型產生實用內容，用於實際應用，模型必須具備下列功能：

  • 瞭解如何執行新工作：生成式 AI 模型旨在執行一般工作。如果希望模型執行特定用途的專屬工作，就必須自訂模型。在 Vertex AI 中，您可以透過模型微調自訂模型。
  • 存取外部資訊：生成式 AI 模型是以大量資料訓練而成，不過，這些模型必須能夠存取訓練資料以外的資訊，才能發揮作用。舉例來說，如果想建立由生成式 AI 模型驅動的客戶服務聊天機器人，模型就必須存取你提供的產品和服務資訊。在 Vertex AI 中，您可以使用基礎和函式呼叫功能，協助模型存取外部資訊。
  • 封鎖有害內容：生成式 AI 模型可能會生成預期外的輸出內容，包括令人反感或未顧及感受的文字。為維護安全和防止濫用，模型需要安全篩選機制，封鎖可能有害的提示和回覆。Vertex AI 內建安全防護功能，可促進生成式 AI 服務的負責任使用。

下圖概略說明整體工作流程：

提示

生成式 AI 工作流程通常從提示開始。提示是傳送給生成式 AI 模型的自然語言要求，用來引導模型提供回覆。視模型而定，提示可以包含文字、圖片、影片、音訊、文件或多種模態 (多模態)。

舉例來說，簡單的文字提示可以是：

"Summarize the following article in three bullet points: [article text]"

建立提示，讓模型提供所需回覆，這個過程稱為提示設計。雖然提示設計是反覆試驗的過程，但您可以運用提示設計原則和策略，引導模型做出符合預期的行為。Vertex AI Studio 提供提示管理工具，可協助您管理提示。

基礎模型

系統會將提示傳送給生成式 AI 模型，要求生成回覆。Vertex AI 提供各種生成式 AI 基礎模型，可透過代管 API 存取。

這些模型的大小、模態和費用各不相同。下表提供概要總覽：

型號系列 主要用途
Gemini API 進階推理、多輪對話、程式碼生成，以及多模態提示 (文字、圖像、影片、音訊)。
Imagen API 生成、編輯高品質圖片，以及生成圖像說明。
MedLM (已淘汰) 解答醫療問題和生成摘要。

您可以在 Model Garden 中探索 Google 模型、開放式模型和 Google 合作夥伴的模型。

自訂模型

您可以自訂 Google 基礎模型的預設行為，使模型不需要複雜的提示，便能生成一致、符合預期的結果。這項自訂程序稱為「模型微調」。調整模型有助於簡化提示，減少要求的成本和延遲時間。

Vertex AI 也提供模型評估工具，協助您評估微調模型的成效。微調模型準備好投入生產後，您就可以將模型部署至端點，並像標準 MLOps 工作流程一樣監控效能。

存取外部資訊

Vertex AI 提供多種方式，讓模型存取外部 API 和即時資訊。

選項 說明 用途
建立基準 將模型回覆連結至真實來源，例如您自己的資料或網路搜尋。 將回覆內容與特定資料連結，減少幻覺並提高事實準確度。
檢索增強生成 (RAG) 將模型連結至外部知識來源，例如文件和資料庫。 從大型知識庫擷取相關資訊，生成更準確且實用的回覆。
函式呼叫 讓模型與外部 API 互動。 取得即時資訊 (例如天氣、股價) 或執行現實生活中的工作 (例如預訂航班、傳送電子郵件)。

引文檢查

生成回覆後，Vertex AI 會檢查是否需要在回覆中加入引文。如果回應中的大部分文字出自同一來源，該來源就會加入回應的引文中繼資料。

負責任的 AI 技術與安全

提示和回覆在傳回前，會經過最後一層檢查，也就是安全篩選機制。Vertex AI 會檢查提示和回覆，判斷提示或回覆屬於安全類別的程度。如果一或多個類別超過門檻，系統會封鎖回應，且 Vertex AI 會傳回備用回應。

回應

如果提示和回覆通過安全篩選器檢查，系統就會傳回回覆。通常系統會一次傳回所有回應。不過，啟用串流後，您也可以在 Vertex AI 生成回覆的同時逐步接收回覆。

開始使用

如要開始在 Vertex AI 上使用生成式 AI，請試試下列任一快速入門導覽。