Chip: Universal-Sprachmodell

Chirp ist die nächste Generation der Google-Sprachmodelle. Nachdem das Unternehmen mehrere Jahre lang Forschungsarbeiten ausgeführt hat, ist jetzt die erste Version von Chirp für Speech-to-Text verfügbar. Wir möchten Chirp verbessern und auf weitere Sprachen und Domains ausweiten. Weitere Informationen finden Sie in unserem Whitepaper Google USM.

Wir haben Chirp-Modelle mit einer anderen Architektur trainiert als unsere aktuellen Sprachmodelle. Ein einzelnes Modell vereint Daten aus mehreren Sprachen. Nutzer geben jedoch weiterhin die Sprache an, in der das Modell Sprache erkennen soll. Chirp unterstützt einige der Google Speech-Features, die andere Modelle haben. Unten finden Sie die vollständige Liste der Länder.

Modell-Kennzeichnungen

Chirp ist in der Cloud Speech-to-Text API v2 verfügbar. Sie können es wie jedes andere Modell nutzen.

Die Modell-ID für Chirp lautet chirp.

Sie können dieses Modell beim Erstellen einer Erkennung oder inline in synchronen oder Batch-Erkennungsanfragen angeben.

Verfügbare API-Methoden

Chirp verarbeitet Sprache in viel größeren Blöcken als andere Modelle. Das bedeutet, dass sie möglicherweise nicht für die tatsächliche Nutzung geeignet ist. Chip ist über die folgenden API-Methoden verfügbar:

• v2Speech.Recognize (gut für kurze Audioaufnahmen < 1 Min.)
• v2Speech.BatchRecognize (gut für lange Audioaufnahmen 1 Min. bis 8 Std.)

Chirp ist in den folgenden API-Methoden nicht verfügbar:

• v2 Speech.StreamingRecognize
• v1 Speech.StreamingRecognize
• v1 Speech.Recognize
• v1 Speech.LongRunningRecognize
• v1p1beta1 Speech.StreamingRecognize
• v1p1beta1 Speech.Recognize
• v1p1beta1 Speech.LongRunningRecognize

Regionen

Chip ist in den folgenden Regionen verfügbar:

• us-central1
• europe-west4
• asia-southeast1

Weitere Informationen finden Sie auf der Sprachenseite.

Sprachen

Die unterstützten Sprachen finden Sie in der vollständigen Sprachliste.

Funktionsunterstützung und Einschränkungen

Chirp unterstützt derzeit nicht viele der STT API-Features. Weitere Einschränkungen finden Sie unten.

• Konfidenzwerte: Die API gibt einen Wert zurück, es ist jedoch kein echter Konfidenzwert.
• Sprachanpassung: Keine Anpassungsfunktionen unterstützt.
• Sprecherbestimmung: Die automatische Sprecherbestimmung wird nicht unterstützt.
• Erzwungene Normalisierung: Nicht unterstützt.
• Konfidenz auf Wortebene: Nicht unterstützt.
• Spracherkennung: Wird nicht unterstützt.

Chirp unterstützt die folgenden Funktionen:

• Automatische Satzzeichen: Die Satzzeichen werden vom Modell vorhergesagt. Sie kann deaktiviert werden.
• Timing von Wörtern: Optional zurückgegeben.
• Sprachunabhängige Audiotranskription: Das Modell leitet die gesprochene Sprache in Ihrer Audiodatei automatisch ab und fügt sie den Ergebnissen hinzu.

Hinweise

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Speech-to-Text APIs.

   Enable the APIs

5. Make sure that you have the following role or roles on the project: Cloud Speech Administrator

   Check for the roles

   1. In the Google Cloud console, go to the IAM page.

      Go to IAM
   2. Select the project.

   3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

   4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

   Grant the roles

   1. In the Google Cloud console, go to the IAM page.

      IAM aufrufen
   2. Wählen Sie das Projekt aus.
   3. Klicken Sie auf Zugriff erlauben.

   4. Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Dies ist in der Regel die E-Mail-Adresse eines Google-Kontos.

   5. Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
   6. Wenn Sie weitere Rollen hinzufügen möchten, klicken Sie auf Weitere Rolle hinzufügen und fügen Sie weitere Rollen hinzu.
   7. Klicken Sie auf Speichern.
   8. Install the Google Cloud CLI.

   9. To initialize the gcloud CLI, run the following command:

      gcloud init

      Note: If you installed the gcloud CLI previously, make sure you have the latest version by running gcloud components update.

   10. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

       Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

       Go to project selector

   11. Make sure that billing is enabled for your Google Cloud project.

   12. Enable the Speech-to-Text APIs.

       Enable the APIs

   13. Make sure that you have the following role or roles on the project: Cloud Speech Administrator

       Check for the roles

       1. In the Google Cloud console, go to the IAM page.

          Go to IAM
       2. Select the project.

       3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

       4. For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.

       Grant the roles

       1. In the Google Cloud console, go to the IAM page.

          IAM aufrufen
       2. Wählen Sie das Projekt aus.
       3. Klicken Sie auf Zugriff erlauben.

       4. Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Dies ist in der Regel die E-Mail-Adresse eines Google-Kontos.

       5. Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
       6. Wenn Sie weitere Rollen hinzufügen möchten, klicken Sie auf Weitere Rolle hinzufügen und fügen Sie weitere Rollen hinzu.
       7. Klicken Sie auf Speichern.
       8. Install the Google Cloud CLI.

       9. To initialize the gcloud CLI, run the following command:

          gcloud init

          Note: If you installed the gcloud CLI previously, make sure you have the latest version by running gcloud components update.

       Clientbibliotheken können Standardanmeldedaten für Anwendungen verwenden, um sich einfach bei Google APIs zu authentifizieren und Anfragen an diese APIs zu senden. Mit den Standardanmeldedaten für Anwendungen können Sie Ihre Anwendung lokal testen und bereitstellen, ohne den zugrunde liegenden Code zu ändern. Weitere Informationen finden Sie unter Für die Verwendung von Clientbibliotheken authentifizieren.

       10. If you're using a local shell, then create local authentication credentials for your user account:

           gcloud auth application-default login

           You don't need to do this if you're using Cloud Shell.

       Prüfen Sie außerdem, ob Sie die Clientbibliothek installiert haben.

       Synchrone Spracherkennung mit Chirp durchführen

       Im Folgenden finden Sie ein Beispiel für eine synchrone Spracherkennung für eine lokale Audiodatei mit Chirp:

       Python

       import os
       
       from google.api_core.client_options import ClientOptions
       from google.cloud.speech_v2 import SpeechClient
       from google.cloud.speech_v2.types import cloud_speech
       
       PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")
       
       
       def transcribe_chirp(
           audio_file: str,
       ) -> cloud_speech.RecognizeResponse:
           """Transcribes an audio file using the Chirp model of Google Cloud Speech-to-Text API.
           Args:
               audio_file (str): Path to the local audio file to be transcribed.
                   Example: "resources/audio.wav"
           Returns:
               cloud_speech.RecognizeResponse: The response from the Speech-to-Text API containing
               the transcription results.
       
           """
           # Instantiates a client
           client = SpeechClient(
               client_options=ClientOptions(
                   api_endpoint="us-central1-speech.googleapis.com",
               )
           )
       
           # Reads a file as bytes
           with open(audio_file, "rb") as f:
               audio_content = f.read()
       
           config = cloud_speech.RecognitionConfig(
               auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
               language_codes=["en-US"],
               model="chirp",
           )
       
           request = cloud_speech.RecognizeRequest(
               recognizer=f"projects/{PROJECT_ID}/locations/us-central1/recognizers/_",
               config=config,
               content=audio_content,
           )
       
           # Transcribes the audio into text
           response = client.recognize(request=request)
       
           for result in response.results:
               print(f"Transcript: {result.alternatives[0].transcript}")
       
           return response
       
       

       Anfrage mit aktivierter sprachunabhängiger Transkription stellen

       Die folgenden Codebeispiele zeigen, wie Sie eine Anfrage mit aktivierter sprachunabhängiger Transkription stellen.

       Python

       import os
       
       from google.api_core.client_options import ClientOptions
       from google.cloud.speech_v2 import SpeechClient
       from google.cloud.speech_v2.types import cloud_speech
       
       PROJECT_ID = os.getenv("GOOGLE_CLOUD_PROJECT")
       
       
       def transcribe_chirp_auto_detect_language(
           audio_file: str,
           region: str = "us-central1",
       ) -> cloud_speech.RecognizeResponse:
           """Transcribe an audio file and auto-detect spoken language using Chirp.
           Please see https://cloud.google.com/speech-to-text/v2/docs/encoding for more
           information on which audio encodings are supported.
           Args:
               audio_file (str): Path to the local audio file to be transcribed.
               region (str): The region for the API endpoint.
           Returns:
               cloud_speech.RecognizeResponse: The response containing the transcription results.
           """
           # Instantiates a client
           client = SpeechClient(
               client_options=ClientOptions(
                   api_endpoint=f"{region}-speech.googleapis.com",
               )
           )
       
           # Reads a file as bytes
           with open(audio_file, "rb") as f:
               audio_content = f.read()
       
           config = cloud_speech.RecognitionConfig(
               auto_decoding_config=cloud_speech.AutoDetectDecodingConfig(),
               language_codes=["auto"],  # Set language code to auto to detect language.
               model="chirp",
           )
       
           request = cloud_speech.RecognizeRequest(
               recognizer=f"projects/{PROJECT_ID}/locations/{region}/recognizers/_",
               config=config,
               content=audio_content,
           )
       
           # Transcribes the audio into text
           response = client.recognize(request=request)
       
           for result in response.results:
               print(f"Transcript: {result.alternatives[0].transcript}")
               print(f"Detected Language: {result.language_code}")
       
           return response
       
       

       Erste Schritte mit Chirp in der Google Cloud Console

       1. Achten Sie darauf, dass Sie sich für ein Google Cloud-Konto registriert und ein Projekt erstellt haben.
       2. Rufen Sie in der Google Cloud Console Speech auf.
       3. Aktivieren Sie die API, falls sie noch nicht aktiviert ist.

       4. Erstellen Sie eine STT-Erkennung, die Chirp verwendet. a. Wechseln Sie zum Tab Erkennungen und klicken Sie auf Erstellen.

          

          b. Geben Sie auf der Seite Erkennung erstellen die erforderlichen Felder für Chirp ein.

          

          i. Benennen Sie das Erkennungsmodul.

          ii. Wählen Sie chirp als Modell aus.

          iii. Wählen Sie die gewünschte Sprache aus. Sie müssen eine Erkennung pro Sprache verwenden, die Sie testen möchten.

          iv. Wählen Sie keine anderen Features aus.

       5. Sie benötigen einen STT UI-Arbeitsbereich. Erstellen Sie einen Arbeitsbereich, falls Sie noch keinen haben. a. Rufen Sie die Seite „Transkriptionen“ auf und klicken Sie auf Neue Transkription.

          b. Öffnen Sie das Drop-down-Menü Arbeitsbereich und klicken Sie auf Neuer Arbeitsbereich, um einen Arbeitsbereich für die Transkription zu erstellen.

          c. Klicken Sie in der Navigationsleiste Neuen Arbeitsbereich erstellen auf Durchsuchen.

          d. Klicken Sie, um einen neuen Bucket zu erstellen.

          e. Geben Sie einen Namen für den Bucket ein und klicken Sie auf Weiter.

          f. Klicken Sie auf Erstellen, um den Cloud Storage-Bucket zu erstellen.

          g. Klicken Sie nach der Erstellung des Buckets auf Auswählen, um Ihren Bucket auszuwählen.

          h. Klicken Sie auf Erstellen, um den Arbeitsbereich für die Speech-to-Text-UI zu erstellen.

       6. Führen Sie eine Transkription Ihres Audios durch.

          

          a. Wählen Sie auf der Seite Neue Transkription Ihre Audiodatei entweder durch einen Upload (Lokaler Upload) oder durch Angabe einer vorhandenen Cloud Storage-Datei (Cloud Storage) aus. Hinweis: Die Benutzeroberfläche versucht, die Parameter der Audiodatei automatisch zu bewerten.

          b. Klicken Sie auf Weiter, um zu den Transkriptionsoptionen zu gelangen.

          

          c. Wählen Sie die Gesprochene Sprache aus, die Sie für die Erkennung mit Chirp von Ihrem zuvor erstellten Erkennungsmodul verwenden möchten.

          d. Wählen Sie im Drop-down-Menü des Modells Chirp – Universal Speech Model aus.

          e. Wählen Sie im Drop-down-Menü Erkennung Ihre neu erstellte Erkennung aus.

          f. Klicken Sie auf Senden, um Ihre erste Erkennungsanfrage mit Chirp auszuführen.

       7. Sehen Sie sich das Chipp-Transkriptionsergebnis an. a. Klicken Sie auf der Seite Transkriptionen auf den Namen der Transkription, um das Ergebnis aufzurufen.

          b. Auf der Seite Transkriptionsdetails können Sie Ihr Transkriptionsergebnis anzeigen und optional die Audioinhalte im Browser abspielen.

       Bereinigen

       Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

       1. Optional: Revoke the authentication credentials that you created, and delete the local credential file.

          gcloud auth application-default revoke

       2. Optional: Revoke credentials from the gcloud CLI.

          gcloud auth revoke

       Console

       Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

       • Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
       • Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

       Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

       In the Google Cloud console, go to the Manage resources page.

       Go to Manage resources

       In the project list, select the project that you want to delete, and then click Delete.

       In the dialog, type the project ID, and then click Shut down to delete the project.

       gcloud

       Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

       • Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
       • Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

       Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

       Delete a Google Cloud project:

       gcloud projects delete PROJECT_ID

       Nächste Schritte

       • Transkribieren kurzer Audiodateien üben
       • Weitere Informationen zum Transkribieren von Audiostreams
       • Lange Audiodateien transkribieren
       • Best Practices-Dokumentation für maximale Leistung und Genauigkeit sowie für weitere Tipps