Gunakan fungsi benchmark pada Konsol Cloud Speech-to-Text untuk mengukur akurasi model transkripsi yang digunakan dalam Speech-to-Text V2 API.
Konsol Cloud Speech-to-Text menyediakan tolok ukur visual untuk model Speech-to-Text terlatih dan Kustom. Anda dapat memeriksa kualitas pengenalan dengan membandingkan metrik evaluasi Word-Error-Rate (WER) di beberapa model transkripsi untuk membantu Anda memutuskan model mana yang paling sesuai dengan aplikasi Anda.
Sebelum memulai
Pastikan Anda telah mendaftar ke akun Google Cloud, membuat project, melatih model ucapan kustom, dan men-deploy menggunakan endpoint.
Membuat set data kebenaran dasar
Untuk membuat set data tolok ukur kustom, kumpulkan sampel audio yang secara akurat mencerminkan jenis traffic yang akan ditemui model transkripsi di lingkungan produksi. Durasi gabungan file audio ini idealnya harus berdurasi minimal 30 menit dan tidak lebih dari 10 jam. Untuk menyusun {i>dataset<i}, Anda perlu:
- Buat direktori di bucket Cloud Storage pilihan Anda untuk menyimpan file audio dan teks untuk set data.
- Untuk setiap file audio dalam set data, buat transkripsi yang cukup akurat. Untuk setiap file audio (seperti
example_audio_1.wav), file teks kebenaran dasar (example_audio_1.txt) yang sesuai harus dibuat. Layanan ini menggunakan pasangan teks audio ini di bucket Cloud Storage untuk menyusun set data.
Menjalankan benchmark pada model
Dengan menggunakan model Speech-to-Text Kustom dan set data tolok ukur untuk menilai akurasi model, ikuti panduan mengukur dan meningkatkan akurasi.