Guida per nuovi utenti di AutoML

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Introduzione

Questa guida per nuovi utenti è un'introduzione ad AutoML. Per comprendere le differenze principali tra AutoML e l'addestramento personalizzato, consulta Scegliere un metodo di addestramento.

Immagina:

  • Sei un allenatore di una squadra di calcio.
  • Sei nel reparto marketing di un rivenditore digitale.
  • Stai lavorando a un progetto architettonico che identifica i tipi di edifici.
  • La tua attività dispone di un modulo di contatto sul sito web.

La cura manuale di video, immagini, testi e tabelle richiede molto tempo. Sarebbe più facile insegnare a un computer a identificare e segnalare automaticamente i contenuti?

Immagine

Lavori con un ente di tutela architettonica che cerca di identificare i quartieri che hanno uno stile architettonico coerente nella tua città. Hai centinaia di migliaia di snapshot di case da esaminare. Tuttavia, è noioso e soggetto a errori quando si cerca di classificare tutte queste immagini manualmente. Un tirocinante ha etichettato alcune centinaia di persone qualche mese fa, ma nessun altro ha esaminato i dati. Sarebbe molto utile se potessi semplicemente insegnare al tuo computer a eseguire questa revisione per te.
presentazione

Tabulare

Lavori nel reparto marketing di un rivenditore digitale. Tu e il tuo team state creando un programma email personalizzato basato sugli utenti tipo. Hai creato gli utenti tipo e le email di marketing pronte per essere utilizzate. Ora devi creare un sistema che raggruppi i clienti in base a preferenze di vendita al dettaglio e comportamento di spesa, anche quando si tratta di nuovi clienti. Per massimizzare il coinvolgimento dei clienti, vuoi anche prevedere le loro abitudini di spesa in modo da ottimizzare quando inviare le email.
Introduzione alla tabella

Poiché sei un rivenditore digitale, disponi dei dati sui tuoi clienti e sugli acquisti che hanno effettuato. E per quanto riguarda i nuovi clienti? Gli approcci tradizionali possono calcolare questi valori per i clienti esistenti con cronologie di acquisto lunghe, ma non funzionano bene per i clienti con pochi dati storici. E se potessi creare un sistema per prevedere questi valori e aumentare la velocità di distribuzione dei programmi di marketing personalizzati a tutti i clienti?

Fortunatamente, il machine learning e Vertex AI sono in una posizione ottimale per risolvere questi problemi.

Testo

La tua attività dispone di un modulo di contatto sul sito web. Ogni giorno ricevi molti messaggi dal modulo, molti dei quali sono utilizzabili in qualche modo. Poiché tutti insieme interagiscono, è facile rimanere indietro con loro. Dipendenti diversi gestiscono diversi tipi di messaggi. Sarebbe fantastico se un sistema automatico potesse classificarle in modo che la persona giusta veda i commenti giusti.
Introduzione

È necessario un sistema per esaminare i commenti e decidere se rappresentano reclami, elogio per il servizio passato, un tentativo di saperne di più sulla tua attività, una richiesta per fissare un appuntamento o un tentativo di stabilire una relazione.

Video

Disponi di una vasta raccolta di video di giochi che vorresti utilizzare per analizzare. Ci sono tuttavia centinaia di ore di video da esaminare. La visione di ciascun video e il tagging manuale dei segmenti per evidenziare ogni azione sono noiosi e portano via un sacco di tempo. Devi ripetere questo lavoro ogni stagione. Ora immagina un modello di computer in grado di identificare e segnalare automaticamente queste azioni ogni volta che vengono visualizzate in un video.

Ecco alcuni scenari specifici.

  • Riconoscimento azione: trova azioni come aver segnato un obiettivo, causato un fallo o una sanzione. Utile per i coach per studiare i punti di forza e le debolezze del loro team.
    gol, azione calcistica
  • Classificazione: classifica ogni video come metà tempo, visualizzazione del gioco, visualizzazione del pubblico o visualizzazione del coach. Utile ai coach per sfogliare solo le riprese video di loro interesse.
  • Monitoraggio degli oggetti: traccia il pallone da calcio o i giocatori. Utile per i coach al fine di ottenere i giocatori; statistiche come la mappa termica sul campo, tasso di superamento riuscito.

Questa guida illustra il funzionamento di Vertex AI per i set di dati e i modelli AutoML e illustra i tipi di problemi pensati da Vertex AI.

Una nota sull'equità

Google si impegna a fare progressi nel seguire le pratiche di AI responsabili. A questo scopo, i nostri prodotti di machine learning, incluso AutoML, si basano su principi fondamentali come equità e machine learning incentrato sull'uomo. Per ulteriori informazioni sulle best practice per ridurre i bias durante la creazione di un sistema di ML personalizzato, consulta la guida al machine learning inclusivo - AutoML

Perché Vertex AI è lo strumento giusto per questo problema?

La programmazione classica richiede che un programmatore specifichi istruzioni dettagliate da seguire per un computer. Prendiamo però in considerazione il caso d'uso di identificare azioni specifiche nelle partite di calcio. Le variazioni di colore, angolo, risoluzione e illuminazione sono così tante che richiederebbe di scrivere troppe regole per indicare a una macchina come prendere la decisione corretta. È difficile immaginare da dove iniziare. Oppure, dove i commenti dei clienti, che usano un vocabolario e una struttura diversificati e troppo diversi, sono troppo diversi per essere raccolti da un semplice insieme di regole. Se cercassi di creare filtri manuali, scopriresti di non essere riuscito a classificare la maggior parte dei commenti dei clienti. Hai bisogno di un sistema che possa generalizzare a un'ampia varietà di commenti. In uno scenario in cui una sequenza di regole specifiche è destinata a espandersi in modo esponenziale, hai bisogno di un sistema che possa imparare dagli esempi.

Fortunatamente, il machine learning è in grado di risolverli.

Come funziona Vertex AI?

rappresentazione grafica di una semplice rete neurale Vertex AI prevede attività di apprendimento supervisionato per ottenere il risultato desiderato. Le specifiche dell'algoritmo e dei metodi di addestramento cambiano in base al tipo di dati e al caso d'uso. Esistono molte sottocategorie di machine learning, ognuna delle quali risolve problemi diversi e funziona in base a limiti diversi.



Immagine

Addestra, testa e convalida il modello di machine learning con immagini di esempio annotate con etichette per la classificazione o con annotazioni con etichette e riquadri di delimitazione per il rilevamento di oggetti. Utilizzando l'apprendimento supervisionato, puoi addestrare un modello per riconoscere i pattern e i contenuti che ti interessano nelle immagini.

Tabulare

Addestra un modello di machine learning con dati di esempio. Vertex AI utilizza i dati tabulari (strutturati) per addestrare un modello di machine learning per fare previsioni sui nuovi dati. Una colonna del set di dati, denominata target, è ciò che il modello apprenderà a prevedere. Alcune delle altre colonne di dati sono input (chiamati funzionalità) da cui il modello apprenderà i pattern. Puoi utilizzare le stesse funzionalità di input per creare più tipi di modelli semplicemente modificando la colonna di destinazione e le opzioni di addestramento. In base all'esempio dell'email marketing, questo significa che puoi creare modelli con le stesse funzionalità di input ma con previsioni di destinazione diverse. Un modello potrebbe prevedere un utente tipo (un target categorico) di un cliente, un altro può prevedere la spesa mensile (un target numerico) e un altro può prevedere la domanda giornaliera dei tuoi prodotti per i prossimi tre mesi (serie di target numerici).
come funziona la tabella ML

Testo

Vertex AI ti permette di eseguire l'apprendimento supervisionato. Questo comporta l'addestramento di un computer per riconoscere pattern da dati etichettati. Utilizzando l'apprendimento supervisionato, puoi addestrare un modello AutoML per riconoscere i contenuti che ti interessano nel testo.

Video

Addestra, testa e convalida il modello di machine learning con video che hai già etichettato. Con un modello addestrato, puoi inserire nuovi modelli nel modello, che a sua volta genera segmenti video con etichette. Un segmento video definisce l'offset delle ore di inizio e fine all'interno di un video. Il segmento può essere l'intero video, il segmento di tempo definito dall'utente, il video rilevato automaticamente o solo un timestamp per quando l'ora di inizio è uguale all'ora di fine. Un'etichetta è una "prevista" prevista del modello. Ad esempio, nei casi d'uso di calcio menzionati in precedenza, per ogni nuovo video di calcio, a seconda del tipo di modello:

  • un modello di riconoscimento delle azioni addestrato genera offset di tempo di un video con etichette che descrivono inquadrature come"obiettivo", "fallo personale"e così via.
  • un modello di classificazione addestrato genera automaticamente segmenti inquadrati con etichette definite dall'utente come"visualizzazione gioco"e"visualizzazione pubblico".
  • Un modello di monitoraggio oggetti addestrato inserisce le tracce del pallone da calcio o dei giocatori delimitando i frame in cui vengono visualizzati gli oggetti.

Flusso di lavoro di Vertex AI

Vertex AI utilizza un flusso di lavoro standard di machine learning:

  1. Raccogli i dati: determina i dati necessari per l'addestramento e il test del modello in base ai risultati che vuoi raggiungere.
  2. Prepara i tuoi dati: assicurati che siano formattati correttamente.
  3. Addestramento: impostare parametri e creare il modello.
  4. Valuta: esamina le metriche del modello.
  5. Deployment e previsione: rendere il modello disponibile per l'uso.

Prima di iniziare a raccogliere i dati, però, devi pensare al problema che stai cercando di risolvere. In questo modo, potrai conoscere i tuoi requisiti di dati.

Preparazione dei dati

Valuta il tuo caso d'uso

Parti dal problema: qual è il risultato che vuoi ottenere?

Immagine

Quando compili il set di dati, inizia sempre con il caso d'uso. Puoi iniziare con le seguenti domande:

  • Qual è il risultato che stai cercando di ottenere?
  • Quali tipi di categorie o oggetti dovreste riconoscere per ottenere questo risultato?
  • Gli esseri umani sono in grado di riconoscere queste categorie? Sebbene Vertex AI sia in grado di gestire un numero di categorie maggiore di quello che le persone possono ricordare e assegnare in qualsiasi momento, se un essere umano non è in grado di riconoscere una categoria specifica, anche Vertex AI avrà difficoltà.
  • Quali tipi di esempi potrebbero riflettere al meglio il tipo e l'intervallo di dati che il tuo sistema vedrà e proverà a classificare?

Tabulare

Che tipo di dati viene utilizzata nella colonna target? A quanti dati hai accesso? A seconda delle tue risposte, Vertex AI crea il modello necessario per risolvere il tuo caso d'uso:

  • Un modello di classificazione binaria prevede un risultato binario (una di due classi). Utilizza questa opzione per rispondere a domande sì o no, ad esempio per prevedere se un cliente acquisterà (o meno) un abbonamento. A parità di altri fattori, un problema di classificazione binaria richiede meno dati rispetto ad altri tipi di modelli.
  • Un modello di classificazione a più classi prevede una classe tra tre o più classi distinte. Utilizza questa opzione per classificare le cose. Per l'esempio di vendita al dettaglio, vuoi creare un modello di classificazione multi-classe per segmentare i clienti in diversi utenti tipo.
  • Un modello di previsione prevede una sequenza di valori. Ad esempio, per i rivenditori, è consigliabile prevedere la domanda giornaliera dei propri prodotti per i prossimi tre mesi in modo da poter offrire in anticipo gli inventari dei prodotti in modo appropriato.
  • Un modello di regressione prevede un valore continuo. Per l'esempio della vendita al dettaglio, vuoi creare un modello di regressione per prevedere quanto spenderà un cliente il mese prossimo.

Testo

Quando compili il set di dati, inizia sempre con il caso d'uso. Puoi iniziare con le seguenti domande:

  • Quale obiettivo vuoi raggiungere?
  • Quali tipi di categorie devi riconoscere per ottenere questo risultato?
  • Gli esseri umani sono in grado di riconoscere queste categorie? Sebbene Vertex AI possa gestire più categorie di quelle che gli esseri umani possono ricordare e assegnare in qualsiasi momento, se un essere umano non riesce a riconoscere una categoria specifica, anche Vertex AI avrà difficoltà.
  • Quali tipi di esempi potrebbero riflettere al meglio il tipo e l'intervallo di dati che verranno classificati dal sistema?

Video

A seconda del risultato che stai cercando di raggiungere, seleziona l'obiettivo del modello appropriato:

  • Utilizza l'obiettivo di riconoscimento per azione per rilevare i momenti di azione in un video, ad esempio per individuare un obiettivo, causare un fallo o calciare una sanzione.
  • Per classificare gli scatti TV nelle seguenti categorie: commerciale, notizie, programmi TV e così via, utilizza l'obiettivo di classificazione.
  • Per individuare e monitorare gli oggetti in un video, utilizza l'obiettivo di monitoraggio degli oggetti.

Consulta Preparazione dei dati video per ulteriori informazioni sulle best practice per la preparazione dei set di dati per il riconoscimento delle azioni, la classificazione e gli obiettivi di monitoraggio degli oggetti.

Raccogli i dati

Dopo aver stabilito il caso d'uso, devi raccogliere i dati che ti consentono di creare il modello che preferisci.

Immagine

raccogliere dati sufficienti Dopo aver stabilito quali dati ti servono, devi trovare un modo per farli acquisire. Puoi iniziare considerando tutti i dati che la tua organizzazione raccoglie. Potresti notare che stai già raccogliendo i dati pertinenti di cui hai bisogno per addestrare un modello. Se non disponi di questi dati, puoi ottenerli manualmente o affidarli a un fornitore di terze parti.

Includere un numero sufficiente di esempi etichettati in ciascuna categoria

includi dati sufficienti Il minimo indispensabile per l'addestramento di Vertex AI è 100 esempi di immagini per categoria/etichetta per la classificazione. La probabilità di riconoscere correttamente un'etichetta aumenta il numero di esempi di alta qualità per ciascuna; in generale, più dati etichettati puoi portare al processo di addestramento, migliore sarà il tuo modello. Scegli come target almeno 1000 esempi per etichetta.

Distribuisci equamente gli esempi tra le categorie

È importante acquisire quantità abbastanza simili di esempi di formazione per ogni categoria. Anche se disponi di un'abbondante quantità di dati per una sola etichetta, è preferibile avere una distribuzione uguale per ogni etichetta. Per capire il motivo, immagina che l'80% delle immagini che utilizzi per creare il tuo modello siano immagini di case unifamiliari in stile moderno. Con una distribuzione squilibrata delle etichette, è molto probabile che il tuo modello apprenda che è sempre sicuro dirti che una foto appartiene a una moderna casa unifamiliare piuttosto che uscire da un arto per cercare di prevedere un'etichetta molto meno comune. È come scrivere un test a scelta multipla in cui quasi tutte le risposte corrette sono "C". - Presto il tuo esperto esperto di test capirà che può rispondere "C" ogni volta senza nemmeno guardare la domanda.
Distribuisci in modo uniforme

Siamo consapevoli che potrebbe non essere sempre possibile generare un numero approssimativamente uguale di esempi per ogni etichetta. La presenza di esempi di alta qualità e imparziali per alcune categorie può essere più difficile da reperire. In questi casi, puoi seguire questa regola generale: l'etichetta con il numero più basso di esempi dovrebbe avere almeno il 10% degli esempi come etichetta con il numero più alto di esempi. Di conseguenza, se l'etichetta più grande ha 10.000 esempi, quella più piccola dovrebbe averne almeno 1000.

Acquisisci la variante dello spazio che presenta problemi

Per motivi simili, cerca di assicurarti che i tuoi dati acquisiscano la varietà e la varietà dello spazio per i problemi. Più ampia è la selezione di un processo di addestramento del modello, più facilmente sarà generico con nuovi esempi. Ad esempio, se stai cercando di classificare le foto di elettronica di consumo in categorie, più vasta è la gamma di dispositivi di elettronica di consumo a cui il modello è esposto in addestramento, più è probabile che sarà in grado di distinguere un nuovo modello di tablet, telefono o laptop, anche se non ha mai visto quel modello specifico prima d'ora.
acquisire variante

Abbina i dati all'output previsto per il tuo modello

associa i dati all'output previsto
Trova immagini visivamente simili a ciò su cui stai pianificando di fare previsioni. Se state cercando di classificare le immagini di interni che sono state tutte scattate in inverno con neve, probabilmente non otterrete grandi prestazioni da un modello addestrato solo su immagini di interni scattate in condizioni di sole soleggiato, anche se le taggate con le classi che vi interessano, poiché l'illuminazione e i paesaggi potrebbero essere abbastanza differenti per influire sulle prestazioni. Idealmente, gli esempi di addestramento sono dati reali ricavati dallo stesso set di dati che intendi utilizzare per classificare il modello.

Tabulare

set di test Dopo aver stabilito il caso d'uso, dovrai raccogliere i dati per addestrare il modello. L'approvvigionamento dei dati e la preparazione sono passaggi fondamentali per la creazione di un modello di machine learning. I dati disponibili indicano il tipo di problemi che puoi risolvere. Quanti dati avete a disposizione? I tuoi dati sono pertinenti alle domande a cui stai cercando di rispondere? Durante la raccolta dei dati, tieni presente le seguenti considerazioni chiave.

Seleziona le funzionalità pertinenti

Una funzionalità è un attributo di input utilizzato per l'addestramento del modello. Le funzionalità consentono al modello di identificare pattern per effettuare previsioni, pertanto devono essere pertinenti al problema. Ad esempio, per creare un modello che prevede se una transazione con carta di credito è fraudolenta o meno, devi creare un set di dati che contenga i dettagli della transazione, come acquirente, venditore, importo, data e ora e gli articoli acquistati. Altre utili funzionalità potrebbero essere le informazioni storiche sull'acquirente e sul venditore e la frequenza con cui l'articolo acquistato è stato coinvolto in attività fraudolente. Quali altre funzionalità potrebbero essere pertinenti?

Prendiamo in considerazione il caso d'uso dell'email marketing per la vendita al dettaglio dall'introduzione. Ecco alcune colonne di funzionalità che potrebbero essere necessarie:

  • Elenco di articoli acquistati (inclusi brand, categorie, prezzi, sconti)
  • Numero di articoli acquistati (ultimo giorno, settimana, mese, anno)
  • Somma del denaro speso (ultimo giorno, settimana, mese, anno)
  • Per ciascun articolo, il numero totale venduto ogni giorno
  • Per ogni articolo, disponibilità totale ogni giorno
  • Se stai pubblicando una promozione per un determinato giorno
  • Profilo demografico noto per l'acquirente

Includi dati sufficienti

includi dati sufficienti In generale, maggiore è il numero di esempi di formazione, meglio è il risultato. La quantità di dati di esempio richiesti si adatta anche alla complessità del problema che stai cercando di risolvere. Non avrai bisogno di tanti dati per ottenere un modello di classificazione binari accurato rispetto a un modello multi-classe, perché è meno complicato prevedere una classe da due anziché da molte.

Non esiste una formula perfetta, ma sono consigliati almeno minimi dati di esempio:

  • Problema di classificazione: 50 righe x le caratteristiche del numero
  • Problema di previsione:
    • 5000 righe x il numero di elementi
    • 10 valori univoci nella colonna degli identificatori della serie temporale x il numero di elementi
  • Problema di regressione: 200 volte il numero di funzionalità

Acquisisci variante

Il set di dati deve rappresentare la diversità dello spazio che hai riscontrato. Maggiore è la varietà di esempi che un modello vede durante l'addestramento, più facilmente può essere generalizzato a esempi nuovi o meno comuni. Immagina se il tuo modello di vendita al dettaglio sia stato addestrato utilizzando solo i dati relativi agli acquisti effettuati in inverno. Sarebbe in grado di prevedere con successo le preferenze di abbigliamento o i comportamenti di acquisto per l'estate?

Testo

raccogliere dati sufficienti Dopo aver stabilito quali dati ti serviranno, devi trovare un modo per recuperarli. Per iniziare, tieni conto di tutti i dati raccolti dalla tua organizzazione. Potresti notare che stai già raccogliendo i dati necessari per addestrare un modello. Se non hai i dati che ti servono, puoi ottenerli manualmente o affidarli a un fornitore di terze parti.

Includere un numero sufficiente di esempi etichettati in ciascuna categoria

includi dati sufficienti La probabilità di riconoscere correttamente un'etichetta aumenta il numero di esempi di alta qualità per ciascuna; in generale, maggiore è il numero di dati etichettati che puoi portare al processo di addestramento, migliore sarà il tuo modello. Il numero di campioni necessari varia anche in base al grado di coerenza dei dati da prevedere e al livello di precisione target. Puoi utilizzare meno esempi per set di dati coerenti o ottenere una precisione dell'80% anziché del 97%. Addestrare un modello e quindi valutare i risultati. Aggiungi altri esempi e esegui di nuovo l'addestramento fino a raggiungere i target di accuratezza, il che potrebbe richiedere centinaia o anche migliaia di esempi per etichetta. Per ulteriori informazioni sui requisiti e sui suggerimenti per i dati, consulta la pagina Preparare i dati di addestramento del testo per i modelli AutoML.

Distribuisci equamente gli esempi tra le categorie

È importante acquisire un numero di esempi di addestramento abbastanza simile per ciascuna categoria. Anche se disponi di un'abbondante quantità di dati per una sola etichetta, è preferibile avere una distribuzione uguale per ogni etichetta. Per capire il motivo, immagina che l'80% dei commenti dei clienti che utilizzi per creare il tuo modello corrisponda a richieste stimate. Con una distribuzione così squilibrata delle etichette, è molto probabile che il tuo modello impari che è sicuro dire che un commento del cliente è sempre una richiesta di stima, invece di cercare di prevedere un'etichetta molto meno comune. È come scrivere un test a scelta multipla in cui quasi tutte le risposte corrette sono "C" - ben presto il tuo esperto esperto capirà che può rispondere "C" ogni volta senza nemmeno guardare la domanda.
Distribuisci in modo uniforme

Potrebbe non essere sempre possibile generare un numero approssimativamente uguale di esempi per ogni etichetta. La presenza di esempi di alta qualità e imparziali per alcune categorie può essere più difficile da reperire. In questi casi, l'etichetta con il minor numero di esempi dovrebbe avere almeno il 10% degli esempi come etichetta con il numero più alto di esempi. Pertanto, se l'etichetta più grande ha 10.000 esempi, quella più piccola dovrebbe averne almeno 1000.

Acquisisci la variante dello spazio che presenta problemi

Per motivi simili, prova a fare in modo che i tuoi dati acquisiscano la varietà e la varietà del tuo spazio problematico. Se fornisci un insieme più ampio di esempi, il modello è più adatto a generalizzare nuovi dati. Supponiamo che tu stia cercando di classificare articoli in ambito elettronico di consumo. Più nomi di brand e specifiche tecniche fornisci, più facile sarà per il modello comprendere l'argomento di un articolo, anche se tale articolo riguarda un brand che non è stato incluso nel set di formazione. Valuta anche la possibilità di includere un'etichetta "none_of_the_sopra" per i documenti che non corrispondono a nessuna delle etichette definite per migliorare ulteriormente le prestazioni del modello.
acquisire variante

Abbina i dati all'output previsto per il tuo modello

associa i dati all'output previsto
Puoi trovare esempi di testo simili a quelli su cui prevedi di fare previsioni. Se state cercando di classificare i post sui social media relativi alla soffiatura del vetro, probabilmente non otterrete grandi prestazioni da un modello addestrato su siti web di informazioni che soffiano vetro, dal momento che il vocabolario e lo stile potrebbero essere diversi. Idealmente, gli esempi di addestramento sono dati reali ricavati dallo stesso set di dati che intendi utilizzare per classificare il modello.

Video

raccogliere dati sufficienti Dopo aver stabilito il tuo caso d'uso, dovrai raccogliere i dati video che ti consentiranno di creare il modello che preferisci. I dati raccolti per l'addestramento determinano il tipo di problemi che puoi risolvere. Quanti video puoi utilizzare? I video contengono abbastanza esempi di ciò che vuoi che il modello preveda? Durante la raccolta dei dati video, tieni presente le seguenti considerazioni.

Includi un numero sufficiente di video

includi dati sufficienti In genere, più video di formazione nel tuo set di dati, migliore è il risultato. Il numero di video consigliati scala anche con la complessità del problema che stai cercando di risolvere. Ad esempio, per la classificazione avrai bisogno di meno dati video per un problema di classificazione binaria (che prevede una classe da due) rispetto a un problema con più etichette (che prevede una o più classi per molte).

La complessità di cosa stai cercando di fare dipende anche dalla quantità di dati video che ti servono. Valuta il caso d'uso del calcio per la classificazione, che consiste nella creazione di un modello per distinguere i colpi di azione, rispetto all'addestramento di un modello in grado di classificare i diversi stili di nuoto. Ad esempio, per distinguere tra tratto del seno, farfalla, dorso e così via, avrai bisogno di più dati di addestramento per identificare i diversi stili di nuoto, per aiutare il modello a imparare a identificare ogni tipo con precisione. Consulta la pagina relativa alla preparazione dei dati video per indicazioni su come comprendere le esigenze minime in termini di dati video ai fini del riconoscimento delle azioni, della classificazione e del monitoraggio degli oggetti.

La quantità di dati video richiesti potrebbe essere maggiore del numero attualmente a tua disposizione. Valuta la possibilità di ottenere altri video tramite un provider di terze parti. Ad esempio, puoi acquistare o ottenere altri video con colibrì se non ne hai abbastanza per il modello di identificatore delle azioni di gioco.

Distribuisci equamente i video tra i corsi

Prova a fornire un numero simile di esempi di corsi per ogni corso. Il motivo? Immagina che l'80% del tuo set di dati di allenamento sia costituito da video sul calcio che mostrano tiri a porta, ma solo il 20% dei video mostra falli personali o calci di rigore. Con una distribuzione disuguali di classi, il tuo modello ha più probabilità di prevedere che una determinata azione è un obiettivo. È simile a scrivere un test a scelta multipla in cui l'80% delle risposte corrette è "C". Il modello esperto capirà rapidamente che "C" è una buona ipotesi la maggior parte delle volte.
distribuire i video allo stesso modo

Potrebbe non essere possibile ottenere lo stesso numero di video per ogni corso. Esempi di alta qualità e imparziali possono essere difficili anche per alcuni corsi. Prova a seguire un rapporto 1:10: se la classe maggiore ha 10.000 video, la più piccola dovrebbe avere almeno 1000 video.

Acquisisci variante

I dati video devono rispecchiare la varietà del tuo spazio problematico. Maggiore è la varietà di esempi che un modello vede durante l'addestramento, più facilmente può essere generalizzato a esempi nuovi o meno comuni. Pensa al modello di classificazione delle azioni calcistiche: assicurati di includere video con un'ampia gamma di angoli di ripresa, orari e giorni di sera e vari movimenti dei giocatori. L'esposizione del modello a una varietà di dati migliora la capacità del modello di distinguere un'azione dall'altra.

Associa i dati all'output previsto

associa i dati all'output previsto Trova video di addestramento che siano visivamente simili ai video che prevedi di inserire nel modello per la previsione. Ad esempio, se tutti i video di addestramento vengono realizzati in inverno o alla sera, i modelli di illuminazione e colore in questi ambienti influenzeranno il modello. Se successivamente utilizzi questo modello per testare i video acquisiti in estate o in pieno giorno, potresti non ricevere previsioni accurate.

Prendi in considerazione questi fattori aggiuntivi: risoluzione video, fotogrammi video al secondo, angolo fotocamera, sfondo.


Prepara i dati

Immagine

raccogliere dati sufficienti Dopo aver deciso qual è più adatto a te, ovvero una suddivisione manuale o predefinita, puoi aggiungere dati in Vertex AI utilizzando uno dei seguenti metodi:

  • Puoi importare i dati dal computer o da Cloud Storage in un formato disponibile (CSV o righe JSON) con le etichette (e, se necessario, riquadri di delimitazione) incorporati. Per ulteriori informazioni sul formato dei file di importazione, consulta la sezione Preparare i dati di addestramento. Se vuoi suddividere manualmente il set di dati, puoi specificare le suddivisioni nel file di importazione CSV o JSON.
  • Se i tuoi dati non sono stati annotati, puoi caricare immagini senza etichetta e utilizzare Google Cloud Console per applicare le annotazioni. Puoi gestire queste annotazioni in più set di annotazioni per lo stesso insieme di immagini. Ad esempio, per un singolo insieme di immagini puoi avere un set di annotazioni con informazioni sul riquadro di delimitazione e sull'etichetta per eseguire il rilevamento degli oggetti, e anche un altro set di annotazioni con solo le annotazioni di etichette per la classificazione.

Tabulare

preparare i dati Dopo aver identificato i dati disponibili, devi assicurarti che siano pronti per l'addestramento. Se i dati sono di parte o contengono valori mancanti o errati, ciò influisce sulla qualità del modello. Tieni presente quanto segue prima di iniziare l'addestramento del modello. Scopri di più

Evitare perdite di dati e disallineamento addestramento/produzione

La fuga di dati si verifica quando utilizzi funzionalità di input durante l'addestramento che "leak" forniscono informazioni sul target che stai cercando di prevedere, che non è disponibile quando il modello viene effettivamente pubblicato. Ciò può essere rilevato quando una funzionalità altamente correlata alla colonna di destinazione è inclusa come una delle funzionalità di input. Ad esempio, se stai creando un modello per prevedere se un cliente sottoscrive un abbonamento il mese successivo e una delle funzionalità di input è un pagamento futuro dell'abbonamento da parte di tale cliente. Ciò può portare a prestazioni elevate del modello durante i test, ma non durante il deployment in produzione, dato che i dati di pagamento dell'abbonamento futuri non sono disponibili al momento della pubblicazione.

Si verifica un disallineamento addestramento/produzione quando le funzionalità di input utilizzate durante il tempo di addestramento sono diverse da quelle fornite al modello al momento della pubblicazione, causando una scarsa qualità del modello in produzione. Ad esempio, creando un modello per prevedere le temperature orarie, ma addestrando con dati che contengono solo temperature settimanali. Un altro esempio: fornire sempre i voti degli studenti nei dati di formazione per prevedere l'abbandono degli studenti, ma non fornire queste informazioni al momento della pubblicazione.

Comprendere i dati di addestramento è importante per prevenire fughe di dati e disallineamento addestramento/produzione:

  • Prima di utilizzare qualsiasi dato, assicurati di conoscere il significato dei dati e se devi utilizzarli o meno come funzionalità.
  • Controlla la correlazione nella scheda Treno. Le correlazioni elevate devono essere segnalate per la revisione.
  • Disallineamento addestramento/produzione: assicurati di fornire caratteristiche di input solo per il modello disponibili nello stesso formato al momento della pubblicazione.

Elimina i dati mancanti, incompleti e incoerenti

I dati di esempio presentano valori mancanti e imprecisi. Dedica del tempo alla revisione e, se possibile, migliora la qualità dei dati prima di utilizzarla per l'addestramento. Più valori mancanti, meno saranno utili i tuoi dati per addestrare un modello di machine learning.

  • Controlla i dati per verificare se mancano valori e correggili, se possibile, oppure lascia vuoto il valore se la colonna è impostata su nullo. Vertex AI è in grado di gestire i valori mancanti, ma è più probabile che otterrai risultati ottimali se tutti i valori sono disponibili.
  • Per la previsione, verifica che l'intervallo tra le righe di addestramento sia coerente. Vertex AI può imporre valori mancanti, ma è più probabile che i risultati siano ottimali se tutte le righe sono disponibili.
  • Pulisci i tuoi dati correggendo o eliminando errori o rumori dei dati. Mantieni coerenti i dati: controlla l'ortografia, le abbreviazioni e la formattazione.

Analizzare i dati dopo l'importazione

Vertex AI fornisce una panoramica del tuo set di dati dopo l'importazione. Esamina il set di dati importato per assicurarti che ogni colonna abbia il tipo di variabile corretto. Vertex AI rileva automaticamente il tipo di variabile in base ai valori delle colonne, ma è consigliabile esaminarle tutte. Dovresti anche rivedere la nullità di ogni colonna, per determinare se una colonna può avere valori mancanti o NULL.

Testo

raccogliere dati sufficienti Dopo aver deciso qual è più adatto a te, in base alla tua suddivisione manuale o predefinita, puoi aggiungere dati in Vertex AI utilizzando uno dei seguenti metodi:

  • Puoi importare i dati dal computer o da Cloud Storage in formato CSV o JSON Lines con le etichette incorporate, come specificato in Preparare i dati di addestramento. Se vuoi suddividere manualmente il set di dati, puoi specificare le suddivisioni nel file CSV o JSON Line.
  • Se ai tuoi dati non è stata assegnata un'etichetta, puoi caricare esempi di testo senza etichetta e utilizzare la console di Vertex AI per applicare le etichette.

Video

raccogliere dati sufficienti Dopo aver raccolto i video che vuoi includere nel set di dati, devi assicurarti che contengano video associati a segmenti di video o riquadri di delimitazione. Per il riconoscimento delle azioni, il segmento video è un timestamp e per la classificazione il segmento può essere un video registrato, un segmento o l'intero video. Per il monitoraggio degli oggetti, le etichette sono associate a riquadri di delimitazione.

Perché i miei video hanno bisogno di riquadri di delimitazione ed etichette?

Per il monitoraggio degli oggetti, in che modo un modello di Vertex AI impara a identificare i pattern? Ecco di cosa si tratta i riquadri di delimitazione e le etichette durante l'addestramento. Prendete l'esempio di calcio: ogni video di esempio dovrà contenere riquadri di delimitazione intorno agli oggetti che volete rilevare. A queste caselle devono essere assegnate anche etichette come "persona", "&" palla. In caso contrario, il modello non sa cosa cercare. Il disegno di caselle e l'assegnazione di etichette ai tuoi video di esempio può richiedere tempo. Se necessario, valuta la possibilità di utilizzare un servizio di etichettatura per esternalizzare il lavoro ad altri.

Se ai tuoi dati non è stata ancora assegnata un'etichetta, puoi anche caricare i video senza etichetta e utilizzare Google Cloud Console per applicare etichette e riquadri di delimitazione.

Addestra modello

Immagine

Valuta come Vertex AI utilizza il tuo set di dati nella creazione di un modello personalizzato

Il set di dati contiene set di addestramento, convalida e test. Se non specifichi le suddivisioni (vedi Prepara i tuoi dati), Vertex AI utilizza automaticamente l'80% delle tue immagini per l'addestramento, il 10% per la convalida e il 10% per i test.
set di test di convalida dell'addestramento

Set di addestramento

set di addestramento La maggior parte dei tuoi dati dovrebbe trovarsi nel set di addestramento. Questi sono i dati che il tuo modello "vede"; durante l'addestramento: vengono utilizzati per apprendere i parametri del modello, ovvero i pesi delle connessioni tra i nodi della rete neurale.

Set di convalida

set di convalida Il set di convalida, a volte chiamato anche ""dev", viene utilizzato anche durante il processo di addestramento. Dopo che il framework di apprendimento dei modelli incorpora i dati di addestramento durante ogni iterazione del processo di addestramento, utilizza le prestazioni del modello sulla convalida impostata per ottimizzare gli iperparametri del modello, che sono variabili che specificano la struttura del modello. Se hai provato a utilizzare il set di addestramento per ottimizzare gli iperparametri, è molto probabile che il modello finisca per concentrarsi troppo sui dati di addestramento e abbia difficoltà a generalizzare agli esempi che non corrispondono esattamente. L'utilizzo di un set di dati un po' nuovo per ottimizzare la struttura del modello consentirà di generalizzare meglio il modello.

Set di test

set di test Il set di test non è affatto coinvolto nel processo di addestramento. Una volta completato l'addestramento del modello, utilizziamo il set di test come una sfida completamente nuova per il modello. Le prestazioni del modello sul set di test hanno lo scopo di darti un'idea piuttosto precisa del rendimento del modello sui dati reali.

Suddivisione manuale

suddivisione manuale Puoi anche suddividere il set di dati in modo indipendente. La suddivisione manuale dei dati è una buona scelta quando vuoi esercitare un maggiore controllo sul processo o se ci sono esempi specifici che vuoi includere in una determinata parte del ciclo di vita dell'addestramento del modello.

 

 

Tabulare

Dopo l'importazione del set di dati, il passaggio successivo consiste nell'addestramento di un modello. Vertex AI genererà un modello di machine learning affidabile con le impostazioni predefinite di addestramento, ma potresti voler modificare alcuni parametri in base al caso d'uso.

Prova a selezionare il maggior numero possibile di colonne di funzionalità per l'addestramento, ma esaminale tutte per assicurarti che siano appropriate per l'addestramento. Per la selezione di una funzionalità, tieni presente quanto segue:

  • Non selezionare le colonne funzionalità che genereranno rumore, ad esempio le colonne degli identificatori assegnate in modo casuale con un valore univoco per ogni riga.
  • Assicurati di comprendere ciascuna colonna della funzionalità e i relativi valori.
  • Se stai creando più modelli da un set di dati, rimuovi le colonne target che non fanno parte del problema di previsione attuale.
  • Ricorda i principi di equità: stai addestrando il tuo modello con una funzionalità che potrebbe portare a un processo decisionale imparziale o sleale per i gruppi emarginati?

In che modo Vertex AI utilizza il tuo set di dati

Il set di dati verrà suddiviso in set di addestramento, convalida e test. La suddivisione predefinita utilizzata da Vertex AI dipende dal tipo di modello che stai addestrando. Se necessario, puoi anche specificare le suddivisioni (suddivisioni manuali). Per maggiori informazioni, consulta la sezione Informazioni sulle suddivisioni di dati per i modelli AutoML. set di test di convalida dell'addestramento

Set di addestramento

set di addestramento La maggior parte dei tuoi dati dovrebbe trovarsi nel set di addestramento. Questi sono i dati che il tuo modello "vede"; durante l'addestramento: vengono utilizzati per apprendere i parametri del modello, ovvero i pesi delle connessioni tra i nodi della rete neurale.

Set di convalida

set di convalida Il set di convalida, a volte chiamato anche ""dev", viene utilizzato anche durante il processo di addestramento. Dopo che il framework di apprendimento dei modelli incorpora i dati di addestramento durante ogni iterazione del processo di addestramento, utilizza le prestazioni del modello sulla convalida impostata per ottimizzare gli iperparametri del modello, che sono variabili che specificano la struttura del modello. Se hai provato a utilizzare il set di addestramento per ottimizzare gli iperparametri, è molto probabile che il modello finisca per concentrarsi troppo sui dati di addestramento e abbia difficoltà a generalizzare agli esempi che non corrispondono esattamente. L'utilizzo di un set di dati un po' nuovo per ottimizzare la struttura del modello consentirà di generalizzare meglio il modello.

Set di test

set di test Il set di test non è affatto coinvolto nel processo di addestramento. Una volta che l'addestramento del modello è stato completato, Vertex AI utilizza il set di test come una sfida completamente nuova per il tuo modello. Le prestazioni del modello sul set di test hanno lo scopo di darti un'idea piuttosto precisa delle prestazioni del modello sui dati reali.

 

Testo

Valuta come Vertex AI utilizza il tuo set di dati per creare un modello personalizzato

Il set di dati contiene set di addestramento, convalida e test. Se non specifichi le suddivisioni come spiegato in Preparare i dati, Vertex AI utilizza automaticamente l'80% dei documenti di contenuti per l'addestramento, il 10% per la convalida e il 10% per i test.
set di test di convalida dell'addestramento

Set di addestramento

set di addestramento La maggior parte dei tuoi dati dovrebbe trovarsi nel set di addestramento. Questi sono i dati che il tuo modello "vede"; durante l'addestramento: vengono utilizzati per apprendere i parametri del modello, ovvero i pesi delle connessioni tra i nodi della rete neurale.

Set di convalida

set di convalida Il set di convalida, a volte chiamato anche ""dev", viene utilizzato anche durante il processo di addestramento. Dopo che il framework di apprendimento dei modelli incorpora i dati di addestramento durante ogni iterazione del processo di addestramento, utilizza le prestazioni del modello sulla convalida impostata per ottimizzare gli iperparametri del modello, che sono variabili che specificano la struttura del modello. Se hai provato a utilizzare il set di addestramento per ottimizzare gli iperparametri, è molto probabile che il modello finisca per concentrarsi troppo sui dati di addestramento e abbia difficoltà a generalizzare agli esempi che non corrispondono esattamente. L'utilizzo di un set di dati un po' nuovo per ottimizzare la struttura del modello consentirà di generalizzare meglio il modello.

Set di test

set di test Il set di test non è affatto coinvolto nel processo di addestramento. Una volta completato l'addestramento del modello, utilizziamo il set di test come una sfida completamente nuova per il modello. Le prestazioni del modello sul set di test hanno lo scopo di darti un'idea piuttosto precisa del rendimento del modello sui dati reali.

 

Suddivisione manuale

suddivisione manuale Puoi anche suddividere il set di dati in modo indipendente. La suddivisione manuale dei dati è una buona scelta quando vuoi esercitare un maggiore controllo sul processo o se ci sono esempi specifici che vuoi includere in una determinata parte del ciclo di vita dell'addestramento del modello.

 

 

Video

Una volta preparati i dati video di addestramento, puoi creare un modello di machine learning. Tieni presente che puoi creare set di annotazioni per obiettivi di modello diversi nello stesso set di dati. Consulta la pagina relativa alla creazione di un set di annotazioni.

Uno dei vantaggi di Vertex AI è che i parametri predefiniti ti guideranno in un modello di machine learning affidabile. Tuttavia, potrebbe essere necessario modificare i parametri in base alla qualità dei dati e al risultato desiderato. Ad esempio:

  • Il tipo di previsione è il livello di granularità di elaborazione dei video.
  • La frequenza fotogrammi è importante se le etichette che stai cercando di classificare sono sensibili ai cambiamenti di movimento, come nel riconoscimento delle azioni. Ad esempio, prendi run o walking. Un clip di camminata con frame al secondo (FPS) basso potrebbe sembrare in esecuzione. Per quanto riguarda il monitoraggio degli oggetti, è anche sensibile alla frequenza fotogrammi. Sostanzialmente, l'oggetto monitorato deve avere una sovrapposizione sufficiente tra i frame adiacenti.
  • La risoluzione per il monitoraggio degli oggetti è più importante rispetto al riconoscimento delle azioni o alla classificazione dei video. Se gli oggetti sono di piccole dimensioni, assicurati di caricare video con una risoluzione più elevata. La pipeline corrente utilizza 256 x 256 per l'addestramento regolare o 512 x 512 se sono presenti troppi oggetti piccoli (la cui area è inferiore all'1% dell'area dell'immagine) nei dati utente. Ti consigliamo di utilizzare video di almeno 256p. L'utilizzo di video con risoluzione più elevata potrebbe non essere utile per migliorare le prestazioni del modello perché internamente i frame video sono sottocampionati per migliorare la velocità di addestramento e di inferenza.


Valuta, testa ed esegui il deployment del modello

Valuta modello

Immagine

Una volta addestrato il tuo modello, riceverai un riepilogo delle prestazioni del modello. Fai clic su valuta o visualizza la valutazione completa per visualizzare un'analisi dettagliata.

raccogliere dati sufficienti Il debug di un modello è più mirato del debug dei dati. Se in un qualsiasi momento il tuo modello inizia ad agire in modo imprevisto mentre valuti le sue prestazioni prima e dopo il push in produzione, devi tornare a controllare i tuoi dati per vedere dove potrebbe essere migliorato.

Che tipo di analisi posso eseguire in Vertex AI?

Nella sezione della valutazione di Vertex AI, puoi valutare le prestazioni del tuo modello personalizzato utilizzando l'output del modello negli esempi di test e le metriche di machine learning comuni. In questa sezione parleremo del significato di ognuno di questi concetti.

  • L'output del modello
  • La soglia di punteggio
  • Veri positivi, veri negativi, falsi positivi e falsi negativi
  • Precisione e richiamo
  • Curve di precisione/richiamo
  • Precisione media

Come si interpreta l'output del modello?

Vertex AI estrae gli esempi dai tuoi dati di test per presentare sfide completamente nuove per il tuo modello. Per ogni esempio, il modello restituisce una serie di numeri che indicano in che misura associa ogni etichetta all'esempio. Se il numero è elevato, il modello ha elevata probabilità che l'etichetta debba essere applicata a quel documento.
output del modello

Che cos'è la soglia di punteggio?

Possiamo convertire queste probabilità in valori 'on'/'off' binari impostando una soglia di punteggio. La soglia di punteggio si riferisce al livello di affidabilità che il modello deve assegnare a una categoria per un elemento di test. Il dispositivo di scorrimento della soglia di punteggio nella console Google Cloud è uno strumento visivo per testare l'impatto di soglie diverse per tutte le categorie e le singole categorie nel set di dati. Se la soglia di punteggio è bassa, il modello classifica più immagini, ma corre il rischio di classificare erroneamente alcune immagini durante la procedura. Se la soglia di punteggio è alta, il modello classifica meno immagini, ma c'è un rischio inferiore di classificare erroneamente le immagini. Puoi modificare le soglie per categoria nella Google Cloud Console per fare esperimenti. Tuttavia, quando utilizzi il modello in produzione, devi applicare le soglie che hai trovato ottimali dal tuo lato.

punteggio soglia

Cosa sono i veri positivi, i falsi negativi, i falsi negativi, i falsi negativi?

Dopo aver applicato la soglia di punteggio, le previsioni effettuate dal tuo modello rientreranno in una delle seguenti quattro categorie:
le soglie che hai trovato ottimali sul tuo lato.

veri positivi

Possiamo utilizzare queste categorie per calcolare precisione e richiamo, ossia metriche che ci aiutano a misurare l'efficacia del nostro modello.

Cosa sono precisione e richiamo?

La precisione e il richiamo ci aiutano a capire quanto il nostro modello stia acquisendo informazioni e quanto sia tralasciato. La precisione ci dice, da tutti gli esempi di test a cui è stata assegnata un'etichetta, quanti in realtà avrebbero dovuto essere categorizzati con quell'etichetta. Il richiamo indica, da tutti gli esempi di test, a cui avrebbe dovuto essere assegnata un'etichetta, quanti ne sono stati effettivamente assegnati.

richiamo di precisione

Devo ottimizzare per ottenere precisione o richiamo?

A seconda del caso d'uso, potresti voler ottimizzare per precisione o richiamo. Per decidere qual è l'approccio più adatto alle tue esigenze, considera i seguenti due casi d'uso.

Caso d'uso: privacy nelle immagini

Supponi di voler creare un sistema che rilevi automaticamente le informazioni sensibili e le sfochi.
falso positivo innocuo
In questo caso, i falsi positivi potrebbero essere sfocati, ma non sfocati, il che può essere fastidioso, ma non dannoso.

falso negativo
I falsi negativi in questo caso sarebbero elementi che devono essere sfocati che non vengono sfocati, ad esempio una carta di credito, il che può causare furti di identità.

In questo caso, ti consigliamo di ottimizzare per il ricordo. Questa metrica misura, per tutte le previsioni effettuate, la quantità trascurata. Un modello con richiamo elevato probabilmente etichetta gli esempi marginalmente pertinenti. Ciò è utile nei casi in cui la categoria presenta dati di addestramento scarsi.

Supponiamo che tu voglia creare un sistema in grado di trovare la migliore foto stock per una determinata parola chiave.
falso positivo

Un falso positivo in questo caso restituisce un'immagine non pertinente. Poiché il tuo prodotto è orgoglioso di restituire solo le immagini più adatte, si tratta di un grave errore.

falso negativo
Un falso negativo in questo caso potrebbe non restituire un'immagine pertinente per una ricerca con parola chiave. Poiché molti termini di ricerca hanno migliaia di foto che potrebbero essere una potenziale corrispondenza, non c'è problema.

In questo caso, ti consigliamo di ottimizzare per ottenere la massima precisione. Questa metrica misura, per tutte le previsioni effettuate, quanto sono corrette. È probabile che un modello ad alta precisione etichetta solo gli esempi più pertinenti, cosa utile nei casi in cui la tua classe è comune nei dati di addestramento.

Come si usa la matrice di confusione?

matrice di confusione

Come posso interpretare le curve di precisione-richiamo?

curve di richiamo preciso
Lo strumento Soglia di punteggio ti consente di esplorare in che modo la soglia di punteggio scelta influenza precisione e richiamo. Quando trascini il dispositivo di scorrimento sulla barra della soglia del punteggio, puoi vedere dove si trova tale soglia sulla curva di tradeoff precisione-richiamo e in che modo tale soglia influisce sulla precisione e sul richiamo individualmente (per i modelli multiclasse, su questi grafici, precisione e richiamo significano l'unica etichetta utilizzata per calcolare le metriche di precisione e richiamo è l'etichetta con il punteggio più alto nell'insieme di etichette che restituiamo). In questo modo puoi trovare un buon equilibrio tra falsi positivi e falsi negativi.

Dopo aver scelto una soglia che sembra accettabile per il modello nel suo complesso, fai clic sulle singole etichette per vedere in quale punto della curva di precisione per ricordo di ogni soglia si trova. In alcuni casi, è possibile che tu riceva molte previsioni sbagliate per alcune etichette, il che potrebbe aiutarti a decidere una soglia per classe personalizzata per queste etichette. Ad esempio, supponiamo che tu esamini il set di dati delle tue case e noti che una soglia a 0,5 ha precisione e richiamo ragionevoli per ogni tipo di immagine tranne "Tudor", forse perché è una categoria molto generale. Per quella categoria, vedi moltissimi falsi positivi. In questo caso, puoi decidere di utilizzare una soglia di 0,8 solo per "Tudor" quando chiami il classificatore per le previsioni.

Cos'è la precisione media?

Una metrica utile per l'accuratezza del modello è l'area sotto la curva di precisione-richiamo. Misura le prestazioni del modello in tutte le soglie di punteggio. In Vertex AI, questa metrica è chiamata Precisione media. Più questo punteggio è vicino a 1,0, migliore sarà il rendimento del modello nel set di test. Un modello che indovina a caso per ogni etichetta otterrebbe una precisione media intorno a 0,5.

Tabulare

valuta modello Al termine dell'addestramento del modello, riceverai un riepilogo delle sue prestazioni. Le metriche di valutazione del modello si basano sul rendimento del modello rispetto a una porzione del tuo set di dati (il set di dati di test). Esistono un paio di metriche e concetti chiave da considerare per determinare se il modello è pronto per essere utilizzato con dati reali.

Metriche di classificazione

Soglia punteggio

Valuta un modello di machine learning che prevede se un cliente acquisterà una giacca l'anno prossimo. Come si deve garantire il modello prima di prevedere che un dato cliente acquisterà una giacca? Nei modelli di classificazione, a ogni previsione viene assegnato un punteggio di affidabilità, una valutazione numerica della certezza del modello che la classe prevista è corretta. La soglia di punteggio è il numero che determina quando un dato punteggio viene convertito in una decisione sì o no; questo è il valore in base al quale il tuo modello afferma "sì, questo punteggio di affidabilità è sufficientemente elevato per concludere che questo cliente acquisterà un cappotto il prossimo anno.
valuta le soglie

Se la soglia di punteggio è bassa, il modello corre il rischio di errata classificazione. Per questo motivo, la soglia di punteggio deve essere basata su un determinato caso d'uso.

Risultati della previsione

Dopo aver applicato la soglia di punteggio, le previsioni effettuate dal tuo modello rientreranno in una di quattro categorie. Per comprendere queste categorie, immagina di nuovo un modello di classificazione binari della giacca. In questo esempio, la classe positiva (cosa che il modello sta cercando di prevedere) è che il cliente acquisterà una giacca l'anno successivo.

  • Vero positivo. Il modello prevede correttamente la classe positiva. Il modello ha previsto correttamente che un cliente ha acquistato una giacca.
  • Falso positivo: il modello prevede in modo errato la classe positiva. Il modello prevedeva che un cliente avesse acquistato una giacca, ma non l'ha fatto.
  • Vero negativo. Il modello prevede correttamente la classe negativa. Il modello prevedeva correttamente che un cliente non avrebbe acquistato una giacca.
  • Falso negativo: il modello prevede in modo errato una classe negativa. Il modello prevedeva che un cliente non avesse acquistato una giacca, ma sì.

risultati delle previsioni

Precisione e richiamo

Le metriche di precisione e richiamo ti consentono di comprendere la capacità del modello di acquisire informazioni e di ciò che sta tralasciando. Scopri di più su precisione e richiamo.

  • Precisione è la frazione delle previsioni positive che erano corrette. Tra tutte le previsioni di acquisto di un cliente, a quale frazione si tratta di acquisti effettivi?
  • Il richiamo è la frazione di righe con questa etichetta che il modello ha previsto in modo corretto. Tra tutti gli acquisti dei clienti che avrebbero potuto essere identificati, quale frazione era?

A seconda del caso d'uso, potrebbe essere necessario ottimizzare la campagna per precisione o richiamo.

Altre metriche di classificazione
  • AUC PR: l'area sotto la curva di precisione-richiamo (PR). Il valore va da zero a uno, dove un valore più alto indica un modello di qualità superiore.
  • ROC AUC: l'area sotto la curva della caratteristica operativa del ricevitore (ROC). L'intervallo va da zero a uno, dove un valore più alto indica un modello di qualità superiore.
  • Precisione: la frazione delle previsioni di classificazione prodotte dal modello che sono state corrette.
  • Perdita logaritmica: l'entropia incrociata tra le previsioni del modello e i valori target. L'intervallo va da zero a infinito, dove un valore più basso indica un modello di qualità superiore.
  • Punteggio F1: la media armonica di precisione e richiamo. F1 è una metrica utile se stai cercando un equilibrio tra precisione e richiamo e include una distribuzione di classe non uniforme.

Metriche di previsione e regressione

Dopo la creazione del modello, Vertex AI fornisce una serie di metriche standard che puoi esaminare. Non esiste una risposta perfetta a come valutare il tuo modello; considera le metriche di valutazione in base al tipo di problema e agli obiettivi che vuoi raggiungere con il modello. Di seguito è riportata una panoramica di alcune metriche che possono essere fornite da Vertex AI.

Errore medio assoluto (MAE)

MAE è la differenza media assoluta tra i valori target e previsti. Misura l'entità media degli errori, ovvero la differenza tra un target e un valore previsto, in un insieme di previsioni. E poiché utilizza valori assoluti, MAE non considera la direzione della relazione né indica un rendimento insufficiente o insufficiente. Quando valuti MAE, un valore più basso indica un modello di qualità superiore (0 rappresenta un predittore perfetto).

Errore quadrato medio (RMSE)

RMSE è la radice quadrata della differenza media quadrata tra il valore target e i valori previsti. RMSE è più sensibile ai valori anomali di MAE, quindi se ti preoccupano gli errori di grandi dimensioni, RMSE può essere una metrica più utile da valutare. Analogamente a MAE, un valore più basso indica un modello di qualità superiore (0 rappresenta un predittore perfetto).

Errore logaritmico quadratico medio (RMSLE)

RMSLE è RMSE in scala logaritmica. RMSLE è più sensibile agli errori relativi rispetto a quelli assoluti e si preoccupa maggiormente delle prestazioni inferiori che superiori.

Quantile osservato (solo previsione)

Per un dato quantile target, il quantile osservato mostra la frazione effettiva dei valori osservati che si trova sotto i valori di previsione del quantile specificati. Il quantile osservato mostra la distanza del modello rispetto al quantile target. Una differenza minore tra i due valori indica un modello di qualità superiore.

Perdita di flipper in scala (solo previsione)

Misura la qualità di un modello in un dato quantile target. Un numero inferiore indica un modello di qualità superiore. Puoi confrontare la metrica di perdita di flipper in scala con quantili diversi per determinare l'accuratezza relativa del tuo modello tra questi quantili diversi.

Testo

Una volta completato l'addestramento del modello, riceverai un riepilogo delle prestazioni del modello. Per visualizzare un'analisi dettagliata, fai clic su valuta o visualizza la valutazione completa.

Cosa devo tenere a mente prima di valutare il mio modello?

raccogliere dati sufficienti Il debug di un modello è più mirato del debug dei dati. Se il tuo modello inizia ad agire in modo imprevisto durante la valutazione delle prestazioni prima e dopo il push in produzione, devi tornare a controllare i dati per vedere dove potrebbe essere migliorato.

 

Che tipo di analisi posso eseguire in Vertex AI?

Nella sezione della valutazione di Vertex AI, puoi valutare le prestazioni del tuo modello personalizzato utilizzando l'output del modello sugli esempi di test e sulle metriche comuni di machine learning. Questa sezione illustra il significato di ciascuno dei seguenti concetti:

  • L'output del modello
  • La soglia di punteggio
  • Veri positivi, veri negativi, falsi positivi e falsi negativi
  • Precisione e richiamo
  • Curve di precisione/richiamo.
  • Precisione media

Come si interpreta l'output del modello?

Vertex AI estrae gli esempi dai tuoi dati di test per presentare nuove sfide per il tuo modello. Per ogni esempio, il modello restituisce una serie di numeri che indicano in che misura associa ogni etichetta all'esempio. Se il numero è elevato, il modello ha elevata probabilità che l'etichetta debba essere applicata a quel documento.
output del modello

Che cos'è la soglia di punteggio?

La soglia di punteggio consente a Vertex AI di convertire le probabilità in valori 'on'/'off' . La soglia di punteggio si riferisce al livello di affidabilità che il modello deve assegnare a una categoria a un elemento di test. Il dispositivo di scorrimento della soglia di punteggio nella console è uno strumento visivo per testare l'impatto di diverse soglie nel tuo set di dati. Nell'esempio precedente, se impostiamo la soglia di punteggio su 0,8 per tutte le categorie, verrà assegnato il servizio "Ottimo servizio" e "Suggerimento", ma non "Richiesta di informazioni". Se la soglia di punteggio è bassa, il modello classifica più elementi di testo, ma rischia di classificarli in modo errato. Se la soglia di punteggio è alta, il modello classificherà meno elementi di testo, ma avrà un rischio più basso di classificare gli elementi di testo in modo errato. Puoi modificare le soglie per categoria nella console Google Cloud per sperimentare. Tuttavia, quando utilizzi il modello in produzione, devi applicare in modo ottimale le soglie che hai trovato ottimali.
soglia di punteggio

Cosa sono i veri positivi, i falsi negativi, i falsi negativi, i falsi negativi?

Dopo aver applicato la soglia di punteggio, le previsioni effettuate dal modello rientreranno in una delle seguenti quattro categorie.
risultati delle previsioni

Puoi utilizzare queste categorie per calcolare precisione e richiamo, ovvero metriche che consentono di misurare l'efficacia del modello.

Cosa sono precisione e richiamo?

La precisione e il richiamo ci aiutano a capire quanto il nostro modello stia acquisendo informazioni e quanto sia tralasciato. La precisione ci dice, da tutti gli esempi di test a cui è stata assegnata un'etichetta, quanti in realtà avrebbero dovuto essere categorizzati con quell'etichetta. Il richiamo indica, da tutti gli esempi di test, a cui avrebbe dovuto essere assegnata un'etichetta, quanti ne sono stati effettivamente assegnati.
richiamo di precisione

Devo ottimizzare per ottenere precisione o richiamo?

A seconda del caso d'uso, potresti voler ottimizzare per precisione o richiamo. Per decidere qual è l'approccio più adatto alle tue esigenze, considera i seguenti due casi d'uso.

Caso d'uso: documenti urgenti

Supponiamo che tu voglia creare un sistema che possa dare la priorità ai documenti urgenti da quelli che non lo sono.
ottimizza come urgente

Un falso positivo in questo caso è un documento non urgente, ma viene contrassegnato come tale. L'utente può ignorarli come non urgenti e andare avanti.
ottimizza come non urgente

Un falso negativo in questo caso sarebbe un documento urgente, ma il sistema non lo segnala come tale. Questo potrebbe causare problemi.

In questo caso, ti consigliamo di ottimizzare per il richiamo. Questa metrica misura, per tutte le previsioni effettuate, la quantità trascurata. È probabile che un modello a richiamo elevato etichetti gli esempi marginalmente pertinenti. Ciò è utile nei casi in cui la categoria presenta dati di addestramento scarsi.

Caso d'uso: filtri antispam

Supponiamo che tu voglia creare un sistema che filtra automaticamente i messaggi email che sono spam e non quelli che lo sono.
spam

Un falso negativo in questo caso potrebbe essere un'email di spam che non viene intercettata e che vedi nella tua Posta in arrivo. In genere è un po' fastidioso.
non spam

In questo caso, un falso positivo sarebbe un'email che è stata erroneamente contrassegnata come spam e che verrà rimossa dalla Posta in arrivo. Se l'email era importante, l'utente potrebbe essere compromesso.

In questo caso, ti consigliamo di eseguire l'ottimizzazione per ottenere la precisione. Questa metrica misura, per tutte le previsioni effettuate, quanto sono corrette. È probabile che un modello ad alta precisione etichetti solo gli esempi più pertinenti; ciò è utile nei casi in cui la categoria è comune nei dati di addestramento.

Come si usa la matrice di confusione?

Possiamo confrontare le prestazioni del modello in ogni etichetta utilizzando una matrice di confusione. In un modello ideale, tutti i valori in diagonale saranno alti e tutti gli altri valori saranno bassi. Indica che le categorie desiderate sono state identificate correttamente. Se altri valori sono elevati, ci forniscono un indizio su come il modello classifica gli elementi del test in modo errato.
matrice di confusione

Come si interpretano le curve di precisione-richiamo?

curve di richiamo preciso
Lo strumento Soglia di punteggio ti consente di esplorare in che modo la soglia di punteggio scelta influisce sulla precisione e sul richiamo. Quando trascini il dispositivo di scorrimento sulla barra della soglia del punteggio, puoi vedere dove si trova tale soglia sulla curva di tradeoff precisione-richiamo e in che modo tale soglia influisce sulla precisione e sul richiamo individualmente (per i modelli multiclasse, su questi grafici, precisione e richiamo significano l'unica etichetta utilizzata per calcolare le metriche di precisione e richiamo è l'etichetta con il punteggio più alto nell'insieme di etichette che restituiamo). In questo modo potete trovare un buon equilibrio tra falsi positivi e falsi negativi.

Dopo aver scelto una soglia che sembra essere accettabile per il tuo modello nel complesso, puoi fare clic sulle singole etichette per vedere dove si trova sulla relativa curva di precisione-richiamo per etichetta. In alcuni casi, è possibile che tu riceva molte previsioni sbagliate per alcune etichette, il che potrebbe aiutarti a decidere una soglia per classe personalizzata per queste etichette. Ad esempio, supponiamo che tu esamini il set di dati dei commenti dei clienti e che una soglia pari a 0,5 abbia ragionevole precisione e richiamo per ogni tipo di commento tranne "Suggerimento", forse perché è una categoria molto generale. Per quella categoria, vedi moltissimi falsi positivi. In questo caso, puoi decidere di utilizzare una soglia di 0,8 solo per "Suggerimento", quando chiami il classificatore per le previsioni.

Cos'è la precisione media?

Una metrica utile per l'accuratezza del modello è l'area sotto la curva di precisione-richiamo. Misura le prestazioni del modello in tutte le soglie di punteggio. In Vertex AI, questa metrica è chiamata Precisione media. Più questo punteggio è vicino a 1,0, migliore sarà il rendimento del modello sul set di test. Un modello che indovina a caso per ogni etichetta otterrebbe una precisione media intorno a 0,5.

Video

raccogliere dati sufficienti Al termine dell'addestramento del modello, riceverai un riepilogo delle sue prestazioni. Le metriche di valutazione del modello si basano sul rendimento del modello rispetto a una porzione del tuo set di dati (il set di dati di test). Esistono un paio di metriche e concetti chiave da considerare per stabilire se il modello è pronto per essere utilizzato con nuovi dati.

Soglia punteggio

Come fa un modello di machine learning a sapere quando un obiettivo di calcio è davvero un obiettivo? A ogni previsione viene assegnato un punteggio di affidabilità, una valutazione numerica della certezza del modello che un determinato segmento video contiene una classe. La soglia di punteggio è il numero che determina quando un determinato punteggio viene convertito in una decisione sì o no; questo è il valore in cui il modello afferma "sì, questo numero di affidabilità è sufficientemente elevato per concludere che questo segmento video contiene un obiettivo"." punteggio soglia

Se la soglia di punteggio è bassa, il modello corri il rischio di etichettare in modo errato i segmenti video. Per questo motivo, la soglia di punteggio deve essere basata su un determinato caso d'uso. Immagina un caso d'uso medico come il rilevamento del cancro, in cui le conseguenze di un'etichettatura errata sono superiori a quelle di un'etichettatura errata dei video sportivi. Nel rilevamento del cancro, è appropriata una soglia di punteggio più alta.

Risultati della previsione

Dopo aver applicato la soglia di punteggio, le previsioni effettuate dal tuo modello rientreranno in una di quattro categorie. Per comprendere queste categorie, immagina di aver creato un modello per rilevare se un determinato segmento contiene (o meno) un obiettivo di calcio. In questo esempio, un obiettivo è la classe positiva (quello che il modello sta cercando di prevedere).

  • Vero positivo. Il modello prevede correttamente la classe positiva. Il modello ha previsto in modo corretto un obiettivo nel segmento video.
  • Falso positivo: il modello prevede in modo errato la classe positiva. Il modello prevedeva che un obiettivo era nel segmento, ma non ce n'era uno.
  • Vero negativo. Il modello prevede in modo corretto la classe negativa. Il modello aveva previsto correttamente un obiettivo nel segmento.
  • Falso negativo: il modello prevede in modo errato una classe negativa. Il modello prevedeva di non avere un obiettivo nel segmento, ma ne aveva uno.
risultati delle previsioni

Precisione e richiamo

Le metriche di precisione e richiamo ti consentono di comprendere la capacità del modello di acquisire informazioni e di ciò che sta tralasciando. Scopri di più su precisione e richiamo

  • Precisione è la frazione delle previsioni positive che erano corrette. Tra tutte le previsioni etichettate come "obiettivo", quale frazione conteneva effettivamente un obiettivo?
  • Il richiamo è la frazione di tutte le previsioni positive che sono state effettivamente identificate. Tra tutti gli obiettivi di calcio che avrebbero potuto essere identificati, quale frazione era?

A seconda del caso d'uso, potrebbe essere necessario ottimizzare la campagna per precisione o richiamo. Prendi in considerazione i seguenti casi d'uso.

Caso d'uso: informazioni private nei video

Immagina di costruire un software che rilevi automaticamente le informazioni sensibili in un video e le sfochi. Le implicazioni dei falsi risultati possono includere:

  • Un falso positivo identifica qualcosa che non deve essere censurato, ma che viene comunque censurato. Potrebbe essere fastidioso, ma non dannoso.
    falso positivo innocuo
  • Un falso negativo non identifica le informazioni che devono essere censurate, ad esempio il numero di una carta di credito. Vengono pubblicate informazioni private e si tratta dello scenario peggiore.
    falso negativo

In questo caso d'uso, è fondamentale ottimizzare per il richiamo per garantire che il modello trovi tutti i casi pertinenti. Un modello ottimizzato per il richiamo ha maggiori probabilità di etichettare esempi marginalmente pertinenti, ma anche più etichettabili con un'etichetta diversa (che sfoca più del necessario).

Supponiamo che tu voglia creare un software che consenta agli utenti di cercare in una raccolta di video in base a una parola chiave. Considera i risultati errati:

  • Un falso positivo restituisce un video non pertinente. Dal momento che il tuo sistema sta cercando di fornire solo video pertinenti, il tuo software non sta facendo davvero come previsto.
    falso positivo
  • Un falso negativo non restituisce un video pertinente. Poiché molte parole chiave contengono centinaia di video, questo problema non è grave quanto restituire un video non pertinente.
    falso negativo

In questo esempio, vorrai ottimizzare la precisione per garantire che il modello fornisca risultati altamente pertinenti e corretti. Un modello ad alta precisione probabilmente etichetta solo gli esempi più pertinenti, ma potrebbe escluderne alcuni. Scopri di più sulle metriche di valutazione del modello.


Testa il tuo modello

Immagine

Vertex AI utilizza automaticamente il 10% dei tuoi dati (o, se hai scelto la suddivisione dati, qualsiasi percentuale tu abbia scelto di utilizzare) per testare il modello, mentre la pagina "Valuta" mostra le prestazioni del modello per tali dati di test. Tuttavia, se vuoi avere la certezza di controllare il tuo modello, esistono diversi modi per farlo. Il modo più semplice è caricare alcune immagini nella pagina "Esegui il deployment di &amp" e verificare le etichette scelte dal modello per i tuoi esempi. Ci auguriamo che queste informazioni corrispondano alle tue aspettative. Prova alcuni esempi di ciascun tipo di immagini che prevedi di ricevere.

Se invece vuoi utilizzare il tuo modello nei test automatici, la pagina "Esegui il deployment di & test" mostra inoltre come effettuare chiamate al modello in modo programmatico.

Tabulare

La valutazione delle metriche del modello è principalmente la modalità con cui puoi determinare se il modello è pronto per il deployment, ma puoi anche testarlo con nuovi dati. Carica nuovi dati per verificare se le previsioni del modello corrispondono alle tue aspettative. In base alle metriche di valutazione o ai test con nuovi dati, potresti dover continuare a migliorare le prestazioni del tuo modello.

Testo

Vertex AI utilizza automaticamente il 10% dei tuoi dati (o, se hai scelto la suddivisione dati, qualsiasi percentuale tu abbia scelto di utilizzare) per testare il modello, mentre la pagina Valuta mostra le prestazioni del modello per tali dati di test. Tuttavia, se vuoi controllare il tuo modello, esistono alcuni modi per farlo. Dopo aver eseguito il deployment del modello, puoi inserire esempi di testo nel campo nella pagina Esegui il deployment e test e osserva le etichette scelte dal modello per gli esempi. Ci auguriamo che queste informazioni corrispondano alle tue aspettative. Prova alcuni esempi relativi a ogni tipo di commento che vuoi ricevere.

Se vuoi utilizzare il tuo modello nei tuoi test automatici, la pagina Esegui il deployment e il test fornisce una richiesta API di esempio che mostra come effettuare chiamate al modello in modo programmatico.

Se vuoi utilizzare il tuo modello nei tuoi test automatici, la pagina Esegui il deployment e il test fornisce una richiesta API di esempio che mostra come effettuare chiamate al modello in modo programmatico.

Nella pagina Previsioni batch, puoi creare una previsione batch, che raggruppa molte richieste di previsione in una sola. Una previsione batch è asincrona, il che significa che il modello attenderà finché non elaborerà tutte le richieste di previsione prima di restituire i risultati.

Video

Vertex Video AI utilizza automaticamente il 20% dei dati o, se hai scelto la suddivisione dati, qualsiasi percentuale tu abbia scelto di utilizzare per testare il modello. La scheda Valuta nella console mostra l'andamento del modello nei dati di test. Tuttavia, se vuoi controllare il tuo modello, esistono alcuni modi per farlo. Un modo è fornire un file CSV con i dati video da sottoporre a test nella scheda "Testa e utilizza" e osservare le etichette che il modello prevede per i video. Ci auguriamo che queste informazioni corrispondano alle tue aspettative.

Puoi regolare la soglia per la visualizzazione delle previsioni in modo da esaminare le previsioni su 3 scale temporali: intervalli di 1 secondo, istantanee della videocamera dopo il rilevamento automatico dei confini dello scatto e interi segmenti video.

Esegui il deployment del modello

Immagine

Quando sei soddisfatto delle prestazioni del tuo modello, è ora di utilizzare il modello. Forse questo significa che l'utilizzo su scala di produzione o forse è una richiesta di previsione una tantum. A seconda del caso d'uso, puoi utilizzare il modello in diversi modi.

Previsione batch

La previsione batch è utile per effettuare contemporaneamente più richieste di previsione. La previsione batch è asincrona, il che significa che il modello attenderà che elabori tutte le richieste di previsione prima di restituire un file JSON Lines con i valori di previsione.

Previsione online

Esegui il deployment del modello per renderlo disponibile per le richieste di previsione utilizzando un'API REST. La previsione online è sincrona in tempo reale, ovvero restituisce rapidamente una previsione, ma accetta una sola richiesta di previsione per chiamata API. La previsione online è utile se il modello fa parte di un'applicazione e parti del sistema dipendono da un rapido tempi di previsione.

Per evitare addebiti indesiderati, ricordati di annullare il deployment del modello quando non è in uso.

Tabulare

Quando sei soddisfatto delle prestazioni del tuo modello, è ora di utilizzare il modello. Forse significa che l'utilizzo su scala di produzione o magari è una richiesta di previsione una tantum. A seconda del caso d'uso, puoi utilizzare il modello in diversi modi.

Previsione batch

La previsione batch è utile per effettuare contemporaneamente più richieste di previsione. La previsione batch è asincrona, il che significa che il modello attenderà finché non elaborerà tutte le richieste di previsione prima di restituire un file CSV o una tabella BigQuery con valori di previsione.

Previsione online

Esegui il deployment del modello per renderlo disponibile per le richieste di previsione utilizzando un'API REST. La previsione online è sincrona in tempo reale e quindi restituisce rapidamente una previsione, ma accetta una sola richiesta di previsione per chiamata API. La previsione online è utile se il modello fa parte di un'applicazione e parti del sistema dipendono da un rapido tempi di previsione.

Per evitare addebiti indesiderati, ricordati di annullare il deployment del modello quando non è in uso.

Video

Quando sei soddisfatto delle prestazioni del tuo modello, è ora di utilizzare il modello. Vertex AI utilizza la previsione batch, che ti consente di caricare un file CSV con percorsi nei video ospitati su Cloud Storage. Il modello elaborerà le previsioni di video e output in un altro file CSV. La previsione batch è asincrona, il che significa che il modello elabora tutte le richieste di previsione prima di restituire i risultati.