テスト

テストは、ライブ トラフィックを処理しながら、複数のフロー バージョン（バリアント バージョン）とコントロール バージョン（通常は本番環境バージョン）のパフォーマンスを比較するために使用されます。ライブ トラフィックの一部を各フロー バージョンに割り当てて、次の指標をモニタリングできます。

  • 含む: 以下に示す他の指標をトリガーすることなく END_SESSION に到達したセッションの数。テレフォニー統合を使用するエージェントのみが使用できます。
  • 人間のエージェントの引き継ぎ率: 人間のエージェントに渡したセッションの数。
  • コールバック率: エンドユーザーが再起動したセッションの数。テレフォニー統合を使用するエージェントのみが使用できます。
  • 放棄率: エンドユーザーが放棄したセッションの数。テレフォニー統合を使用するエージェントのみが使用できます。
  • セッション終了率: END_SESSION に達したセッションの数。
  • 合計不一致数: 一致するイベントがない場合の合計数。
  • 合計ターン数: 会話ターンの合計数（1 エンドユーザー入力と 1 つのエージェントのレスポンスが 1 ターンとみなされます）。
  • 平均ターン数: ターン数の平均値です。

準備

テストの準備を整えるには:

  1. テストで使用するフローを決定します。1 つのフローで複数のテストを実行することはできません。エージェントを複数のフローに分割してください。
  2. フローに複数のバージョンを作成します。何を比較するかによって、各バージョンの違いが小さくなるか、大きくなる可能性があります。
  3. テストに割り当てるトラフィック量を決定します。マイナーな変化をテストする場合は、まず大量のトラフィックから始めます。問題を生じさせるような大がかりな変更の場合は、テストに少量のトラフィックを割り当てることを検討してください。

テストの作成

テストを作成するには:

  1. Dialogflow CX Console を開きます。
  2. GCP プロジェクトを選択し、エージェント セレクタを開きます。
  3. エージェントを選択してエージェント ビルダーを開きます。
  4. [Manage] タブを選択します。
  5. [テスト] をクリックして、[テスト] パネルを開きます。
  6. [ステータス] タブを選択します。
  7. [作成] をクリックします。
  8. 内容を入力してください。
  9. テストを実行する環境を選択します。
  10. テストのフローを選択します。
  11. 必要に応じて、テストを自動的に停止する日数を入力します。
  12. コントロール フローと、コントロール バージョンに振り分けるトラフィックの割合を入力します。
  13. 1 ～ 4 種類のバリアント フロー バージョンと、バリアント バージョンにアクセスするトラフィックの割合を入力します。
  14. 必要に応じて、[Enable auto rollout and steps] をクリックして、トラフィックをバリアント フローに段階的にロールアウトします。自動テストは、ステップに基づいています。これは、トラフィックの割合がバリアント フローに増加する期間です。自動ロールアウトは、1 つのバリアント フローのみをサポートします。
    1. [ロールアウト ルール] では、1 つ以上の条件付きルールを設定して、テストをステップに従って進める方法を決定します。
      1. [Match at least one rule] を選択した場合、テストで少なくとも 1 つのルールと現在のステップの期間が満たされていれば、テストは次のステップに進みます。
      2. [Match all rules] を選択した場合、テストですべてのルールと現在のステップの期間が満たされていれば、次のステップに進みます。
      3. [Steps only] を選択した場合、テストは各ステップの期間に従って続行されます。
    2. [Increase steps] で、バリアント フローに割り当てるトラフィックの割合と各ステップの期間を定義します。各ステップのデフォルトの期間は 6 時間です。
    3. [Stop conditions] を選択して、バリアント フローへのトラフィックの送信を停止する 1 つ以上の条件を設定します。停止中のテストは再開できません。
  15. [保存] をクリックします。

テストを開始または停止する

保存したテストはいつでも開始できます。また、実施中のテストはいつでも手動で停止することもできます。テストを停止すると、トラフィックの割り当てはキャンセルされ、トラフィックは元の状態に戻ります。

テストを開始または停止するには:

  1. [テスト] パネルを開く
  2. [ステータス] タブを選択します。
  3. リスト内のテストの [開始] または [停止] をクリックします。

テストを管理する

テストはいつでも編集、削除できます。

  1. [テスト] パネルを開く
  2. [ステータス] タブを選択します。
  3. テストのオプション をクリックします。
  4. [編集] または [削除] をクリックします。

テストのステータスを確認する

すべてのテストは、ステータスに関係なくテストパネルに表示されます。テストには次の 4 つのステータスがあります。

  • 下書き: テストが作成されましたが、一度も実行されていません。
  • 保留:最近、テストが開始されましたが、まだ結果を表示できません。
  • 実行中: テストが実行中で、中間的な結果を入手できます。
  • 完了: 自動または手動で停止ているため、テストが完了しています。

テスト結果の表示

テスト結果を確認するには:

  1. Dialogflow CX Console を開きます。
  2. GCP プロジェクトを選択し、エージェント セレクタを開きます。
  3. エージェントを選択してエージェント ビルダーを開きます。
  4. [Manage] タブを選択します。
  5. [テスト] をクリックして、[テスト] パネルを開きます。
  6. [結果] タブを選択します。
  7. 環境とテストを選択して結果を確認します。

緑色の検索結果は好ましい結果を示し、赤は好ましくない結果を示しています。場合によっては、高い / 低い数は必ずしも良いとは限りません（放棄率が高い / 放棄率が低い）。

制限事項

次の制限が適用されます。

前へ
テストケース
次へ
継続的なテストとデプロイ