Gli esperimenti vengono utilizzati per confrontare le prestazioni di più versioni del flusso (versioni variante) con una versione di controllo (di solito una versione di produzione), durante la gestione del traffico in tempo reale. Puoi allocare una parte del traffico in tempo reale a ogni versione del flusso e monitorare le seguenti metriche:
- Contenuto: numero di sessioni che hanno raggiunto END_SESSION senza attivare altre metriche riportate di seguito. Disponibile solo per gli agenti che utilizzano un'integrazione di telefonia.
- Percentuale di trasferimento con operatori: numero di sessioni consegnate a un operatore.
- Percentuale di callback: numero di sessioni riavviate da un utente finale. Disponibile solo per gli agenti che utilizzano un'integrazione di telefonia.
- Tasso di abbandono: numero di sessioni abbandonate da un utente finale. Disponibile solo per gli agenti che utilizzano un'integrazione di telefonia.
- Percentuale di fine sessione: numero di sessioni che hanno raggiunto END_SESSION.
- Conteggio totale senza corrispondenza: numero totale di occorrenze di un evento senza corrispondenza.
- Conteggio totale dei turni: numero totale di turni conversazionali (un input utente finale e una risposta dell'agente sono considerati un turno).
- Numero medio di svolte: il numero medio di svolte.
preparazione
Per prepararti a un esperimento:
- Decidi quale flusso verrà utilizzato per l'esperimento. Non puoi eseguire più esperimenti su un singolo flusso, pertanto assicurati di aver partizionato l'agente in più flussi.
- Crea più versions per il flusso. Le differenze tra le versioni possono essere piccole o grandi, a seconda di ciò che vuoi confrontare.
- Decidi la quantità di traffico da assegnare all'esperimento. Se stai testando modifiche di minore entità, potresti iniziare con una maggiore quantità di traffico. Per modifiche di grande entità che potrebbero essere fastidiose, valuta la possibilità di assegnare una piccola quantità di traffico all'esperimento.
Crea un esperimento
Per creare un esperimento:
- Apri la console Dialogflow CX.
- Seleziona il tuo progetto Google Cloud per aprire il selettore degli agenti.
- Seleziona l'agente per aprire il generatore di agenti.
- Seleziona la scheda Gestisci.
- Fai clic su Esperimenti per aprire il riquadro Esperimenti.
- Seleziona la scheda Stato.
- Fai clic su Crea.
- Inserisci una descrizione.
- Seleziona l'ambiente da cui vuoi eseguire l'esperimento.
- Seleziona il flusso per l'esperimento.
- (Facoltativo) Inserisci il numero di giorni in cui l'esperimento terminerà automaticamente.
- Inserisci la versione del flusso di controllo e la percentuale di traffico che sarà inviata alla versione di controllo.
- Inserisci da una a quattro versioni di flusso delle varianti e la percentuale di traffico che verrà assegnata alla versione della variante.
- (Facoltativo) Fai clic su Attiva implementazione automatica e passaggi per un'implementazione graduale del traffico nel flusso delle varianti. Un esperimento automatico si basa sui passaggi, ovvero le durate di tempo in cui una percentuale di traffico viene aumentata al flusso delle varianti. L'implementazione automatica supporta solo un flusso di variante.
- In Regole di implementazione, puoi impostare una o più regole condizionali per determinare come procedere l'esperimento attraverso i passaggi.
- Se selezioni Associa almeno una regola, l'esperimento procede al passaggio successivo se vengono soddisfatte almeno una regola e la durata del passaggio corrente.
- Se selezioni Applica tutte le regole, l'esperimento procede al passaggio successivo se vengono soddisfatte tutte le regole e la durata del passaggio corrente.
- Se selezioni Solo passaggi, l'esperimento procede in base alla durata di ogni passaggio.
- In Aumenta passaggi, definisci una percentuale di traffico da assegnare al flusso della variante e una durata di tempo per ogni passaggio. La durata predefinita di ogni passaggio è di 6 ore.
- Seleziona Condizioni di interruzione per impostare una o più condizioni in base alle quali interrompere l'invio del traffico al flusso della variante. Tieni presente che non puoi riavviare un esperimento interrotto.
- In Regole di implementazione, puoi impostare una o più regole condizionali per determinare come procedere l'esperimento attraverso i passaggi.
- Fai clic su Salva.
Avviare e interrompere un esperimento
Puoi avviare un esperimento salvato o interrompere manualmente un esperimento in esecuzione in qualsiasi momento. Se interrompi un esperimento, l'assegnazione del traffico viene annullata e il traffico viene ripristinato allo stato originale.
Per avviare o interrompere un esperimento:
- Apri il riquadro Esperimenti.
- Seleziona la scheda Stato.
- Fai clic su Avvia o Interrompi per un esperimento nell'elenco.
Gestisci esperimenti
Puoi modificare o eliminare gli esperimenti in qualsiasi momento:
- Apri il riquadro Esperimenti.
- Seleziona la scheda Stato.
- Fai clic sul menu delle opzioni more_vert per un esperimento nell'elenco.
- Fai clic su Modifica o Elimina.
Monitorare lo stato degli esperimenti
Tutti gli esperimenti, indipendentemente dal loro stato, sono disponibili nel riquadro degli esperimenti. Gli esperimenti possono avere quattro diversi stati:
- Bozza: l'esperimento è stato creato, ma non è mai stato eseguito.
- In attesa: l'esperimento è iniziato di recente, ma i risultati non sono ancora disponibili.
- In esecuzione: l'esperimento è in esecuzione e sono disponibili risultati provvisori.
- Completato: l'esperimento è stato completato perché è stato interrotto automaticamente o manualmente.
Visualizzazione dei risultati di un esperimento
Per visualizzare i risultati degli esperimenti:
- Apri la console Dialogflow CX.
- Seleziona il tuo progetto Google Cloud per aprire il selettore degli agenti.
- Seleziona l'agente per aprire il generatore di agenti.
- Seleziona la scheda Gestisci.
- Fai clic su Esperimenti per aprire il riquadro Esperimenti.
- Seleziona la scheda Risultati.
- Seleziona un ambiente e un esperimento per vedere i risultati.
I risultati in verde suggeriscono un risultato positivo, mentre il rosso suggerisce un risultato meno favorevole. Tieni presente che, in alcuni casi, numeri più alti/più bassi non sono necessariamente migliori (tasso di abbandono elevato / tasso di abbandono basso).
Limitazioni
Si applicano le seguenti limitazioni:
- L'impostazione dell'agente Abilita il logging delle interazioni deve essere abilitata.