準備訓練資料

瞭解如何在 Google Cloud Speech 控制台中準備音訊和文字資料,以微調自訂 Speech-to-Text 模型。訓練資料的品質會影響所建模型的成效。您需要編寫多元的資料集,其中包含與模型在實際工作環境中推論時回應內容直接相關的代表性音訊和文字背景資訊,包括雜訊和不尋常的詞彙。

如要有效訓練自訂 Speech-to-Text 模型,您需要:

  • 至少 100 小時的訓練資料,可以是只有音訊,也可以是音訊和對應的文字轉錄稿 (做為基準真相)。這項資料對於初始訓練階段至關重要,可讓模型瞭解語音模式和詞彙的細微差異。詳情請參閱「建立基本事實資料集」一文。
  • 至少 10 小時的驗證資料,以及對應的文字轉錄稿做為基準真相。

事前準備

請確認您已註冊 Google Cloud 帳戶、建立 Google Cloud 專案,並啟用 Speech-to-Text API:

  1. 前往 Cloud Storage。
  2. 如果沒有值區,請建立一個。

建立資料集

如要建立資料集,您需要在所選的 Cloud Storage 值區中建立兩個子目錄。遵循簡單的命名慣例:

  1. 建立 training_dataset 子目錄,用來儲存所有訓練檔案。
  2. 建立 validation_dataset 子目錄,儲存所有訓練檔案。
  3. 請按照真值註解指南,在目錄中上傳音訊和文字檔案。

資料集指南

  • 訓練和驗證都支援 .wav 檔案格式 (適用於 LINEAR16 編碼的音訊檔案),以及 .txt 檔案格式 (適用於文字檔案,如有)。避免在檔案名稱中使用非 ASCII 字元。
  • 同一個目錄中的音訊檔案應以個別的 TXT 檔案提供,每個檔案的名稱都應與對應的 WAV 檔案相同,例如 my_file_1.wav、my_file_1.txt。每個音訊檔案只能有一個轉錄稿檔案。

訓練資料

  • 訓練用的所有檔案都必須位於同一個目錄中,不得有任何巢狀資料夾。
  • 選用:如果可以,請提供音訊檔案的轉錄稿。無須提供時間戳記。
  • 確認音訊檔案的累計長度超過 100 小時。否則訓練工作會失敗。

以下範例說明上傳檔案做為訓練資料集後,目錄結構應呈現的樣貌:

├── training_dataset
│   ├── example_1.wav
│   ├── example_1.txt
│   ├── example_2.wav
│   ├── example_2.txt
│   ├── example_3.wav (Note: Audio only instance, without corresponding text)
│   └── example_4.wav (Note: Audio only instance, without corresponding text)

驗證資料

  • 驗證用的所有檔案都位於名為 validation_dataset 的相同目錄中,且不含任何巢狀資料夾。
  • 驗證音訊的長度不得超過 30 秒。
  • 在個別 TXT 檔案中,提供相同目錄中每個音訊檔案的真值轉錄稿。

以下範例說明上傳檔案做為驗證資料集後,目錄結構應呈現的樣貌:

├── validation_dataset
│   ├── example_1.wav
│   ├── example_1.txt
│   ├── example_2.wav
│   └── example_2.txt

真值註解規範

請參閱下列格式設定說明。

Numbers

基數和序數應僅以數字轉錄。

  • 音訊:「一副撲克牌有五十二張牌,四種花色各有十三個牌位,分別是方塊、紅心、黑桃和梅花」
  • 基準真相文字:「一副撲克牌有 52 張牌,四種花色各有 13 個牌位,分別是方塊、紅心、黑桃和梅花」

貨幣和單位

請採用轉錄地區的常見貨幣書寫形式。數值後方的所有單位都必須使用縮寫。如果從上下文就能清楚推測出某個數字或數列是指貨幣或時間,請依照推測結果設定格式。

日期與時間

轉錄日期和時間時,請採用轉錄語言常用的格式。盡可能以 hh:mm 格式轉錄時間。

地址

轉錄時請使用地點、道路和州的全名,例如在說話者明確說出縮寫時,使用縮寫。轉錄實體和地點時,請在兩者之間加上逗號。

正確的名稱和重音符號

請使用正式的拼法和標點符號轉錄。如果某個人名可能有好幾種拼法,但上下文無法協助您選出適當的拼法,請使用最常見的拼法。

品牌、產品名稱和媒體標題

請採用官方格式和最常見的書寫方式轉錄。

感嘆詞

笑聲或其他非語音發語詞應轉錄為最多三個音節。如果笑聲出現在語音中,請完全忽略。 範例:

  • 音訊:「ha ha ha ha ha」
  • 實際文字:「hahaha」

多名說話者

請勿使用說話者標記分隔,因為系統通常不支援說話者區分。

後續步驟

請參閱下列資源,瞭解如何在應用程式中運用自訂語音模型: