Configurare un motore

Questa pagina illustra brevemente i concetti alla base della configurazione di un motore.

Origini supportate per gli iperparametri

Quando configuri un motore, puoi selezionare l'origine degli iperparametri utilizzati per creare un modello. Sono supportate le seguenti origini:

  • Ottimizzazione automatica: l'IA di AML ottimizza gli iperparametri quando crei una risorsa EngineConfig (comportamento predefinito)
  • Eredita: eredita gli iperparametri da una configurazione dell'engine precedente creata con una versione precedente dell'engine all'interno della stessa versione di ottimizzazione. Questa impostazione ti consente di evitare di eseguire nuovamente l'ottimizzazione ogni volta che adotti una nuova versione del motore del modello.

Quando eseguire la messa a punto o l'ereditarietà

Le sezioni seguenti descrivono quando selezionare l'ottimizzazione automatica e quando ereditare gli iperparametri da una configurazione dell'engine precedente.

Quando eseguire la sintonizzazione

Hai la possibilità di ottimizzare ogni nuova configurazione dell'engine e, in caso di dubbi, devi sempre ottimizzare per ottenere i migliori risultati in termini di prestazioni. Per ulteriori informazioni, consulta la sezione Come ottimizzare un motore.

Per ottenere il massimo rendimento, ti consigliamo di valutare la regolazione del motore quando si verifica una delle seguenti condizioni:

  • Apporta modifiche significative alla logica del set di dati. Ad esempio, quando una delle seguenti condizioni cambia:
    • La logica con cui vengono compilati i campi
    • La selezione dei campi CONSIGLIATI da compilare
    • La logica o la selezione dei dati forniti nella tabella PartySupplementaryData
  • Stai per fare in modo che un motore addestri un modello per una nuova regione.

Quando ereditare gli iperparametri

Per risparmiare tempo e costi quando adotti una nuova versione dell'engine, puoi ereditare gli iperparametri da un motore precedente utilizzando la stessa versione di ottimizzazione. Consulta la sezione Come adottare una versione del motore senza eseguire nuovamente la messa a punto.

Le versioni del motore con la versione di ottimizzazione v003 e le versioni del motore rilasciate prima del 22/02/2024 non supportano l'ereditarietà degli iperparametri, ma possono essere utilizzate come origine di iperparametri.

Come regolare un motore

Per attivare l'ottimizzazione, vedi Creare e gestire le configurazioni dell'engine.

In particolare, devi selezionare quanto segue:

  • I dati da utilizzare per l'ottimizzazione del motore:

    Specifica un set di dati e un'ora di fine nell'intervallo di date del set di dati.

    La regolazione del motore utilizza etichette e funzionalità basate su mesi di calendario completi fino al mese dell'ora di fine selezionata, escluso. Per ulteriori informazioni, consulta Intervalli di tempo dei set di dati.

  • La versione del motore da utilizzare per l'ottimizzazione del motore:

    Seleziona una versione del motore corrispondente al settore (vendita al dettaglio o commerciale) per cui utilizzerai i modelli associati.

  • Il volume di indagini che prevedi in base ai modelli:

    Specifica partyInvestigationsPerPeriodHint. Questo viene utilizzato per l'ottimizzazione dell'algoritmo, la formazione e il backtesting per garantire che l'AI AML offra prestazioni adeguate al volume di indagini mensili.

Output del tuning del motore

La regolazione dell'engine genera una risorsa EngineConfig, che può essere utilizzata per creare una risorsa Model.

I metadati di configurazione dell'engine contengono le seguenti metriche. In particolare, queste metriche mostrano quanto segue:

  • Miglioramento del rendimento previsto dall'ottimizzazione del motore rispetto all'utilizzo degli iperparametri predefinite

  • Misurazioni che possono essere utilizzate per valutare la coerenza del set di dati (ad esempio, confrontando i valori mancanti delle famiglie di funzionalità di operazioni diverse)

Nome metrica Descrizione della metrica Valore della metrica di esempio
ExpectedRecallPreTuning Metrica di richiamo misurata su un set di test quando si utilizzano gli iperparametri predefiniti della versione del motore.

Questa misurazione del richiamo presuppone il numero di indagini al mese specificato in partyInvestigationsPerPeriodHint. 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.72,
      "scoreThreshold": 0.42,
    },
  ],
}
ExpectedRecallPostTuning Metrica di richiamo misurata su un set di test quando si utilizzano iperparametri ottimizzati.

Questa misurazione del richiamo presuppone il numero di indagini al mese specificato in partyInvestigationsPerPeriodHint. 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.43,
    },
  ],
}
Mancanza di dati

Percentuale di valori mancanti in tutte le funzionalità di ogni famiglia di funzionalità.

Idealmente, tutte le famiglie di funzionalità di IA AML dovrebbero avere un valore di mancante prossimo a 0. Potrebbero verificarsi eccezioni se i dati alla base di queste famiglie di funzionalità non sono disponibili per l'integrazione.

Una variazione significativa di questo valore per qualsiasi famiglia di funzionalità tra ottimizzazione, addestramento, valutazione e previsione può indicare incoerenza nei set di dati utilizzati. 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}

Come adottare una versione del motore senza eseguire nuovamente la messa a punto

Per riutilizzare gli iperparametri di una configurazione del motore precedente, consulta la sezione Creare una configurazione del motore che eredita gli iperparametri (nella pagina Creare e gestire le configurazioni del motore). In particolare, devi selezionare quanto segue:

  • Tipo di origine degli iperparametri:seleziona INHERITED come hyperparameterSourceType. Se non specifichi il tipo di origine, il tipo di origine degli iperparametri viene impostato su TUNING per consentire la compatibilità con le versioni precedenti.
  • Origine iperparametro:specifica il nome completo della risorsa della configurazione dell'engine di origine nell'oggetto hyperparameterSource. Gli output della configurazione del motore di origine vengono utilizzati per la configurazione del nuovo motore. La configurazione del motore di origine deve essere stata creata con una versione precedente del motore all'interno della stessa versione del motore di ottimizzazione che stai utilizzando.
  • Versione del motore da utilizzare per la configurazione del motore: seleziona una versione del motore corrispondente al settore di attività (vendita al dettaglio o commerciale) per i modelli che vuoi utilizzare. Se ereditamenti gli iperparametri, la linea di business deve corrispondere a quella utilizzata per l'origine degli iperparametri.

Output e struttura di derivazione durante l'eredità

L'eredità degli iperparametri da un'altra versione dell'engine crea una risorsa EngineConfig che può essere utilizzata per creare una risorsa Model utilizzando gli iperparametri della configurazione dell'engine di origine.

Per la consistenza, i seguenti campi nella risorsa EngineConfig vengono impostati come segue quando si ereditano gli iperparametri da un'altra configurazione dell'engine:

  • hyperparameterSourceType: INHERITED
  • hyperparameterSource: la configurazione del motore utilizzata come origine dell'iperparametro
  • tuning: oggetto tuning originale, incluso il riferimento al dataset utilizzato per l'ottimizzazione dell'engine originale (primaryDataset) e all' ora più recente a partire dalla quale i dati sono stati utilizzati per generare funzionalità per l'addestramento (endTime)
  • performanceTarget: oggetto performanceTarget originale, incluso il volume di accertamenti previsti in base ai modelli specificati (partyInvestigationsPerPeriodHint)
  • Metadati di configurazione del motore dall'ottimizzazione del motore originale