嵌入是指以數值表示文字、圖像或影片，藉此掌握輸入內容之間的關係。機器學習模型 (尤其是生成式 AI 模型) 適合用於建立嵌入，方法是識別大型資料集中的模式。應用程式可使用嵌入功能處理及生成語言，辨識內容特有的複雜含意和語意關係。每當您完成 Google 搜尋或看到音樂串流推薦內容時，都會與嵌入內容互動。
嵌入技術會將文字、圖片和影片轉換為浮點數陣列 (稱為向量)，這些向量旨在擷取文字、圖片和影片的意義，內嵌陣列的長度稱為向量的維度。舉例來說，一段文字可能以包含數百個維度的向量表示。接著，應用程式可以計算兩段文字的向量表示法之間的數值距離，判斷物件之間的相似度。
Vertex AI 支援兩種嵌入模型：文字和多模態。
文字嵌入的應用實例
文字嵌入的常見用途包括：
- 語意搜尋：搜尋按語意相似度排序的文字。
- 分類：依據特定文字，傳回文字屬性相似的項目類別。
- 分群：依據特定文字，將文字屬性相似的項目分群。
- 離群值偵測：傳回文字屬性與指定文字最不相關的項目。
- 對話式介面：將可能產生類似回覆的句子歸類為叢集，就像對話層級的嵌入空間一樣。
用途範例：開發書籍推薦聊天機器人
如要開發書籍推薦聊天機器人，首先要使用深層類神經網路 (DNN) 將每本書轉換為嵌入向量，其中一個嵌入向量代表一本書。您可以只饋送書名或文字內容，做為 DNN 的輸入內容。你也可以同時使用這兩項資訊，以及描述書籍的其他中繼資料，例如類型。
在這個例子中，嵌入內容可能包含數千個書名、摘要和類型，而且可能包含 Emily Brontë 的《咆哮山莊》和 Jane Austen 的《勸服》等書籍的表示法，這些表示法彼此相似 (數值表示法之間的距離很小)。而 F.由於時間範圍、類型和摘要的相似度較低，因此 Scott Fitzgerald 會更遠。
輸入內容是影響嵌入空間方向的主要因素。舉例來說，如果我們只輸入書名，那麼兩本書名相似但摘要內容大相逕庭的書籍，可能會被歸類在一起。不過，如果我們加入標題和摘要，這些書籍在嵌入空間中的相似度就會降低 (距離較遠)。
這款書籍推薦聊天機器人運用生成式 AI，可根據你的查詢內容摘要、推薦及顯示你可能會喜歡 (或不喜歡) 的書籍。
多模態嵌入的應用實例
多模態嵌入的常見用途包括：
圖片和文字應用實例：
- 圖片分類：以圖片做為輸入，並預測一或多個類別 (標籤)。
- 圖片搜尋：搜尋相關或相似的圖片。
- 建議：根據圖片生成產品或廣告建議。
圖片、文字和影片應用實例：
- 建議：根據影片生成產品或廣告建議 (相似度搜尋)。
- 搜尋影片內容
- 使用語意搜尋：將文字做為輸入內容，並依據查詢傳回一組排序過的影格。
- 使用相似性搜尋：
- 將影片做為輸入內容，並傳回一組與查詢相符的影片。
- 將圖像做為輸入內容，並傳回一組與查詢相符的影片。
- 影片分類：以影片做為輸入內容，並預測一或多個類別。
使用案例範例：線上零售體驗
線上零售商越來越常運用多模態嵌入，提升顧客體驗。在購物時看到個人化產品建議，以及透過文字搜尋取得視覺化結果，都是與嵌入互動。
如要為線上零售用途建立多模態嵌入，請先處理每張產品圖片，生成獨一無二的圖片嵌入，也就是以數學方式呈現圖片的視覺風格、調色盤、重要細節等。同時將產品說明、顧客評論和其他相關文字資料轉換為文字嵌入，從中擷取語意和語境。將這些圖片和文字嵌入內容合併到統一的搜尋和推薦引擎後，商店就能根據顧客的瀏覽記錄和偏好，提供視覺上相似的個人化推薦商品。此外，這項功能還可讓顧客使用自然語言描述搜尋產品，引擎會擷取並顯示與搜尋查詢最相似的項目。舉例來說，如果消費者搜尋「黑色夏季洋裝」，搜尋引擎可能會顯示黑色洋裝，以及夏季洋裝剪裁、輕盈材質和無袖的洋裝。這項強大的功能結合了圖像和文字理解能力，可打造簡化的購物體驗，提升顧客參與度、滿意度，最終帶動銷售。
後續步驟
- 如要進一步瞭解嵌入，請參閱「認識 AI 的多功能工具：向量嵌入」。
- 如要參加嵌入的機器學習基礎速成課程，請參閱「嵌入」。
- 如要進一步瞭解如何在資料庫中儲存向量嵌入，請參閱「探索」頁面和「Vector Search 總覽」。
- 如要瞭解負責任的 AI 最佳做法和 Vertex AI 的安全篩選器，請參閱「負責任的 AI」。
- 如要瞭解如何取得嵌入，請參閱下列文件：