Mengukur dan meningkatkan akurasi

Dalam panduan memulai ini, pelajari cara mengukur dan meningkatkan akurasi Google Cloud Speech-to-Text untuk data audio Anda. Pelajari juga berbagai model dan opsi yang tersedia dari API untuk meningkatkan akurasi transkripsi. Pelajari cara menggunakan UI Speech-to-Text di konsol Google Cloud dan file kebenaran nyata untuk mengukur akurasi dan mendapatkan insight tentang sistem Speech-to-Text.

Sistem Machine Learning (ML) pada dasarnya memiliki ketidakakuratan, begitu pula dengan sistem Pengenalan Ucapan Otomatis (ASR), yang juga dikenal sebagai sistem Speech-to-Text. Pengukuran akurasi yang akurat sangat berhubungan dengan kasus penggunaan tertentu dan sistem yang dievaluasi, karena perbedaan kualitas rekaman audio dan kondisi akustik dapat berdampak signifikan pada akurasi. Akibatnya, penerapan satu skor akurasi untuk semua pelanggan dan kasus penggunaan menjadi tidak praktis. Untuk memastikan performa sistem ASR yang andal dalam performa sistem yang penting dan menghadapi produksi. Anda juga perlu memahami performa Speech-to-Text dalam konteks sistem yang lebih luas.

Untuk tujuan panduan memulai ini, gunakan metode standar industri sebagai perbandingan, Word Error Rate (WER), yang sering disingkat sebagai WER. Untuk mengetahui informasi lebih lanjut tentang cara WER dihitung dan ditafsirkan, lihat Mengukur dan meningkatkan akurasi ucapan. Mari kita mulai.

Memulai Konsol Speech-to-Text

Pastikan Anda telah mendaftar ke akun Google Cloud dan membuat project. 1. Buka Speech di konsol Google Cloud, lalu buka UI Speech-to-Text. 2. Dengan menggunakan file audio yang secara akustik mewakili kasus penggunaan Anda dan rencana penggunaan sistem ASR, ikuti petunjuk panduan memulai untuk membuat transkripsi pertama Anda menggunakan Speech-to-Text.

Menghitung Akurasi Transkripsi

  1. Setelah berhasil mentranskripsikan file audio, gunakan bagian Transcription Accuracy. Bagian ini tetap kosong hingga akurasi dihitung untuk transkripsi Anda.
  2. Dengan menggunakan tombol Upload Kebenaran Nyata di bagian atas, Anda dapat mulai menghitung akurasi.
    Screenshot halaman detail transkripsi Speech-to-Text, yang menunjukkan bagian akurasi transkripsi dan tombol upload kebenaran nyata

Menentukan kebenaran nyata

  1. Untuk menghitung akurasi transkripsi, berikan file kebenaran nyata. File ini adalah file .txt atau .csv, biasanya file transkripsi buatan manusia yang berisi transkripsi yang benar atau yang diharapkan sebagai perbandingan.
  2. Menggunakan gs://cloud-samples-data/speech/brooklyn_bridge.wav sebagai contoh. File kebenaran nyata berisi: How old is the Brooklyn Bridge. Jika Anda tidak memiliki file kebenaran nyata yang tersedia, sebaiknya download transkripsi dalam format teks. Edit file transkripsi sesuai kebutuhan. Upload file transkripsi sebagai file kebenaran nyata.
  3. Menggunakan Upload atau file Cloud Storage yang sudah ada, tentukan file kebenaran nyata, lalu klik Save.
    Screenshot halaman pembuatan transkripsi Speech-to-Text, yang menampilkan pilihan atau upload untuk file kebenaran nyata.

Mengonfirmasi kebenaran nyata

  1. Setelah mengklik Simpan, sebuah perintah akan muncul untuk mengonfirmasi bahwa file kebenaran nyata yang ditentukan sudah benar. Verifikasi bahwa file kebenaran nyata secara akurat mewakili transkripsi yang benar, karena file ini secara langsung memengaruhi metrik akurasi.
  2. Klik Konfirmasi untuk melanjutkan.
    Screenshot halaman transkripsi Speech-to-Text, yang menampilkan konten file kebenaran nyata yang diupload.

Tinjau hasil evaluasi

  1. Bergantung pada ukuran data input, proses evaluasi mungkin memerlukan waktu beberapa saat, dan hasilnya ditampilkan setelah selesai.
  2. Setelah evaluasi selesai, bagian berikut akan ditampilkan:
    • Tabel Akurasi Transkripsi, metrik akurasi, dan link ke file kebenaran nyata yang digunakan dalam proses tersebut.
    • Transcription dengan tombol untuk membandingkan dengan file kebenaran nyata beserta perincian metrik akurasi dan sorotan.
  3. Tinjau dan tafsirkan hasil akurasi untuk memahami performa pengenal Speech-to-Text yang digunakan guna mengidentifikasi area yang dapat ditingkatkan, karena hasilnya bervariasi bergantung pada input dan transkripsi yang digunakan. Dalam contoh berikut, Anda dapat melihat kasus indikasi hasil akurasi, yang memberikan insight berharga untuk pengoptimalan sistem Google Cloud Speech-to-Text.
    • Contoh 0% WER:
      Screenshot halaman akurasi transkripsi Speech-to-Text, yang menunjukkan hasil evaluasi terkomputasi untuk transkrip yang diberikan dengan tingkat error kata 0%.
    • Contoh 40% WER:
      Screenshot halaman akurasi transkripsi Speech-to-Text, yang menunjukkan hasil evaluasi terkomputasi untuk transkrip yang diberikan dengan tingkat error kata 40%.

Opsional: memperbarui kebenaran nyata

Anda dapat menguji kebenaran nyata yang berbeda terhadap transkripsi yang ada, dengan melampirkan kembali file yang berbeda, lalu mengulangi langkah tiga dan empat dengan file kebenaran nyata yang diperbarui.

Coba sendiri

Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa Speech-to-Text dalam skenario dunia nyata. Pelanggan baru mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

Coba Speech-to-Text gratis