關於翻譯大型語言模型的監督式微調

如果您的翻譯任務明確，且可提供已加上標籤的文字資料，就很適合使用監督式微調功能。在特定領域的應用實例中，如果翻譯內容與大型模型最初的訓練資料大相徑庭，則這項工具的成效將格外顯著。

監督式微調功能會運用加上標籤的資料集來調整模型運作方式。這個程序會調整模型權重，盡可能減少預測結果和實際標籤間的差異。

支援的模型

下列翻譯 LLM 模型支援監督式微調：

  • translation-llm-002 (公開測試版僅支援文字)

限制

  • 輸入和輸出詞元數量上限：
    • 放送：1,000 個 (~4,000 個字元)
  • 驗證資料集大小：1024 個範例
  • 訓練資料集檔案大小：JSONL 格式上限為 1 GB
  • 訓練範例長度：1,000 個字元 (約 4,000 個半形字元)
  • 轉接器大小：
    • Translation LLM V2：支援的值只有 4。使用任何其他值 (例如 1 或 8) 會導致失敗。

使用監督式微調的用途

如果待翻譯文字是根據模型所學的一般常見文字結構，一般預先訓練的翻譯模型就能派上用場。如果您希望模型學習與一般翻譯偏離的特定領域或特定知識，則建議微調該模型。舉例來說，您可以透過模型微調，讓模型學會下列事項：

  • 特定產業領域的內容，包含術語或風格
  • 產生輸出內容的特定結構或格式。
  • 特定行為，例如何時提供簡潔或詳細的輸出內容。
  • 針對特定類型的輸入內容，提供特定的自訂輸出內容。

設定微調工作區域

轉換後的資料集和調整後模型等使用者資料，會儲存在調整工作區域。目前僅支援 us-central1 區域。

  • 如果您使用 Vertex AI SDK，可以在初始化時指定區域。例如：

    import vertexai
vertexai.init(project='myproject', location='us-central1')

  • 如果您使用 tuningJobs.create 方法傳送 POST 要求，建立受監督的微調作業，則可使用網址指定微調作業的執行區域。舉例來說，在下列網址中，您可將兩個 TUNING_JOB_REGION 執行個體都換成工作執行的區域，藉此指定區域。

     https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

  • 如果您使用 Google Cloud 控制台，可以在「模型詳細資料」頁面的「區域」下拉式欄位中選取區域名稱。您可以在這個頁面選取基礎模型和調整後的模型名稱。

配額

系統會對並行微調工作數量強制執行配額。每個專案都設有預設配額，至少可執行一項微調作業。這是全域配額，適用於所有可用區域和支援的模型。如要同時執行更多工作，請申請更多Global concurrent tuning jobs配額。

定價

translation-llm-002的監督式微調功能目前為預先發布版。在預先發布期間，調整模型或用於推論不會產生任何費用。

訓練詞元的計算方式為訓練資料集中的詞元總數乘以訓練週期數。

後續步驟