Testen Sie Gemini 1.5-Modelle, die neuesten multimodalen Modelle in Vertex AI, und sehen Sie selbst, was Sie mit einem Kontextfenster von bis zu 2 Mio. Tokens erstellen können. Testen Sie Gemini 1.5-Modelle, die neuesten multimodalen Modelle in Vertex AI, und sehen Sie selbst, was Sie mit einem Kontextfenster von bis zu 2 Mio. Tokens erstellen können.

Fehlerbehebung

Hier finden Sie nützliche Informationen über die schrittweise Fehlerbehebung in Verbindung mit Speech-to-Text.

Authentifizierung bei Speech-to-Text nicht möglich

Möglicherweise werden Sie in einer Fehlermeldung darauf hingewiesen, dass Ihre "Standardanmeldedaten für Anwendungen" nicht verfügbar sind, oder Sie fragen sich, wie Sie einen API-Schlüssel zum Aufrufen von Speech-to-Text erhalten.

Speech-to-Text verwendet für die Authentifizierung die Standardanmeldedaten für Anwendungen (ADC).

Die Anmeldedaten für ADC müssen in dem Kontext verfügbar sein, in dem Sie die Speech-to-Text API aufrufen. Wenn Sie beispielsweise ADC in Ihrem Terminal einrichten, Ihren Code aber im Debugger Ihrer IDE ausführen, hat der Ausführungskontext Ihres Codes möglicherweise keinen Zugriff auf die Anmeldedaten. In diesem Fall kann Ihre Anfrage an Speech-to-Text fehlschlagen.

Informationen zum Bereitstellen von Anmeldedaten für ADC finden Sie unter Standardanmeldedaten für Anwendungen einrichten.

Speech-to-Text gibt eine leere Antwort zurück

Es gibt mehrere Gründe, warum Speech-to-Text eine leere Antwort zurückgeben kann. Die Ursache des Problems kann RecognitionConfig oder die Audiodatei selbst sein.

Fehlerbehebung `RecognitionConfig`

Das RecognitionConfig-Objekt (oder StreamingRecognitionConfig) ist Teil einer Speech-to-Text-Erkennungsanfrage. Es gibt zwei Hauptkategorien von Feldern, die festgelegt werden müssen, um eine Transkription ordnungsgemäß durchzuführen:

Audiokonfiguration
Modell und Sprache

Eine der häufigsten Ursachen für leere Antworten (wenn Sie beispielsweise eine leere {}-JSON-Antwort erhalten) ist die Angabe falscher Informationen zu den Audiometadaten. Wenn die Audiokonfigurationsfelder nicht richtig festgelegt sind, schlägt die Transkription wahrscheinlich fehl und das Erkennungsmodell gibt leere Ergebnisse zurück.

Die Audiokonfiguration enthält die Metadaten der bereitgestellten Audiodaten. Sie können die Metadaten für Ihre Audiodatei mit dem Befehl ffprobe abrufen, der Teil von FFMPEG ist.

Das folgende Beispiel zeigt, wie Sie mit ffprobe die Metadaten für https://storage.googleapis.com/cloud-samples-tests/speech/commercial_mono.wav abrufen.

$ ffprobe commercial_mono.wav
[...]
Input #0, wav, from 'commercial_mono.wav':
  Duration: 00:00:35.75, bitrate: 128 kb/s
  Stream #0:0: Audio: pcm_s16le ([1][0][0][0] / 0x0001), 8000 Hz, 1 channels, s16, 128 kb/s

Mit dem obigen Befehl kann die Datei Folgendes enthalten:

sample_rate_hertz: 8000
Kanäle: 1
Codierung LINEAR16 (s16)

Sie können diese Informationen in Ihrer RecognitionConfig verwenden.

Weitere audiobezogene Ursachen für eine leere Antwort können in der Audiocodierung enthalten sein. Hier sind einige weitere Tools und Lösungsmöglichkeiten:

Spielen Sie die Datei ab und hören Sie die Ausgabe an. Ist das Audio klar und die Sprache verständlich?

Zum Abspielen von Dateien können Sie den Befehl play von SoX (Sound eXchange) verwenden. Im Folgenden werden einige Beispiele für unterschiedliche Audiocodierungen dargestellt.

FLAC-Dateien enthalten einen Header, der die Abtastrate, den Codierungstyp und die Anzahl der Kanäle angibt. Sie werden mit folgendem Befehl abgespielt:
```
play audio.flac
```
LINEAR16-Dateien haben keinen Header. Zum Abspielen müssen Sie die Abtastrate, den Codierungstyp und die Anzahl der Kanäle angeben. Für die LINEAR16-Codierung muss 16-Bit, Signed-Integer und Little-Endian gewählt werden.
```
play --channels=1 --bits=16 --rate=16000 --encoding=signed-integer \
--endian=little audio.raw
```
MULAW-Dateien enthalten ebenfalls keinen Header und verwenden oft eine niedrigere Abtastrate.
```
play --channels=1 --rate=8000 --encoding=u-law audio.raw
```
Prüfen Sie, ob die Audiocodierung Ihrer Daten mit den Parametern übereinstimmt, die Sie in RecognitionConfig gesendet haben. Wenn Sie in Ihrer Anfrage beispielsweise "encoding":"FLAC" und "sampleRateHertz":16000 angegeben haben, sollten die im SoX-Befehl play angegebenen Audiodatenparameter diesen Parametern entsprechen:
```
play audio.flac
```
muss Folgendes auflisten:
```
Encoding: FLAC
Channels: 1 @ 16-bit
Sampleratehertz: 16000Hz
```
Wenn die SoX-Auflistung für Sampleratehertz etwas anderes als 16000Hz anzeigt, ändern Sie "sampleRateHertz" in InitialRecognizeRequest, um die Übereinstimmung sicherzustellen. Wenn für Encoding nicht FLAC oder für Channels nicht 1 @ 16-bit aufgelistet wird, können Sie diese Datei nicht direkt verwenden und müssen sie in eine kompatible Codierung konvertieren (siehe nächster Schritt).
Wenn Ihre Audiodatei nicht FLAC-codiert ist, versuchen Sie diese mit SoX in das FLAC-Format zu konvertieren. Wiederholen Sie die oben beschriebenen Schritte zum Abspielen der Datei, überprüfen Sie die Codierung, die Werte für sampleRateHertz und die Kanäle. Im Folgenden sind einige Beispiele aufgeführt, in denen verschiedene Audiodateiformate in die FLAC-Codierung konvertiert werden.
```
sox audio.wav --channels=1 --bits=16 audio.flac
sox audio.ogg --channels=1 --bits=16 audio.flac
sox audio.au --channels=1 --bits=16 audio.flac
sox audio.aiff --channels=1 --bits=16 audio.flac
```
Für die Konvertierung einer RAW-Datei in das FLAC-Format benötigen Sie die Audiocodierung der Datei. Mit dem folgenden Beispiel wird die Codierung Stereo, 16-Bit, Signed-Integer, Little-Endian bei 16.000 Hz in das FLAC-Format konvertiert:
```
sox --channels=2 --bits=16 --rate=16000 --encoding=signed-integer \
--endian=little audio.raw --channels=1 --bits=16 audio.flac
```
Sie können das Beispiel aus dem Schnellstart oder eine der Beispielanwendungen mit der bereitgestellten Beispielaudiodatei ausführen. Wenn das Beispiel erfolgreich ausgeführt wurde, ersetzen Sie die Beispielaudiodatei durch Ihre Audiodatei.

Modell- und Sprachkonfiguration

Die Modellauswahl ist sehr wichtig, um hochwertige Transkriptionsergebnisse zu erhalten. Speech-to-Text bietet mehrere Modelle, die auf unterschiedliche Anwendungsfälle zugeschnitten sind. Sie müssen so ausgewählt werden, dass sie möglichst genau auf Ihre Audiodaten zugeschnitten sind. Einige Modelle (z. B. latest_short und command_and_search) sind beispielsweise Kurzform-Modelle, die sich für kurze Audios und Eingabeaufforderungen besser eignen. Diese Modelle geben wahrscheinlich Ergebnisse zurück, sobald sie einen Zeitraum der Inaktivität erkannt haben. Langform-Modelle hingegen (z. B. latest_short, phone_call, video and default) eignen sich besser für längere Audios und sind nicht so anfällig dafür, dass sie Stille als das Ende der Audiodaten interpretieren.

Wenn Ihre Erkennung zu abrupt ist oder nicht schnell zurückgegeben wird, können Sie mit anderen Modellen experimentieren, um festzustellen, ob Sie eine bessere Transkriptionsqualität erhalten können. Sie können mithilfe der Speech UI mit mehreren Modellen experimentieren.

Unerwartete Ergebnisse der Spracherkennung

Wenn die von Speech-to-Text zurückgegebenen Ergebnisse nicht Ihren Erwartungen entsprechen, gehen Sie so vor:

Prüfen Sie die Antwort auf Fehlermeldungen.
Notieren Sie sich die Kontingente und Begrenzungen.
Folgen Sie zur Verbesserung der Erkennungsgenauigkeit den Richtlinien in Best Practices.