拡張ストリーミング

拡張ストリーミング機能を使用すると、音声コンテンツを Dialogflow にストリーミングし、人間のエージェントの候補をストリーミングで返すことができます。

ストリーミングの基本

Agent Assist の拡張ストリーミング機能は、CCAI 音声文字変換の音声ストリーミングに似ています。システムは音声データを API にストリーミングし、Dialogflow は StreamingAnalyzeContentResponse データをストリーミングします。返されるデータには、人間のエージェント向けの候補が含まれます。

拡張ストリーミングを使用するには、streamingAnalyzeContent メソッドを呼び出します。

拡張ストリーミングは、エージェント アシスト ステージのみをサポートしています。会話の段階をご覧ください。この機能を使用するには:

  1. streamingAnalyzeContent メソッドを呼び出して、次のフィールドを設定します。
    • StreamingAnalyzeContentRequest.audio_config.audio_encoding: AUDIO_ENCODING_LINEAR_16 または AUDIO_ENCODING_MULAW
    • enable_extended_streaming: true
  2. 最初の streamingAnalyzeContent リクエストは、ストリームを準備して音声構成を設定します。
  3. 後続のリクエストで、音声バイトをストリームに送信します。
  4. 音声を送信し続けると、候補は引き続き表示されます。ストリームを手動で閉じる必要はありません。エージェント アシスタントが発話が停止したことを検出すると、自動的に閉じられます。
  5. 次の場合にストリームを再起動します（初期音声構成の再送信を含む）。
    • ストリームが中断されている（ストリームが停止すべきでないときに停止している）。
    • 音声データが自動タイムアウト（3 分）に近づいています。
    • 再試行可能なエラーが発生しました。再試行は 3 回まで可能です。