Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Preparazione dei dati di addestramento

In questa pagina viene descritto come preparare i dati di addestramento e test in modo che la classificazione automatica di ML Video Intelligence possa creare un modello di annotazione video.

Preparazione dei video

  • La classificazione di AutoML Video Intelligence supporta i seguenti formati video (mostrati di seguito) per l'addestramento del tuo modello o per la richiesta di una previsione (annotazione di un video). La dimensione massima del file è di 50 GB (fino a 3 ore). Non sono supportati singoli file video con timestamp non corretti o vuoti nel contenitore.

    • .MOV
    • .MPEG4
    • MP4
    • .AVI
  • I dati di addestramento devono essere il più vicini possibile ai dati su cui fare previsioni. Ad esempio, se il tuo caso d'uso riguarda video sfocati e a bassa risoluzione (ad esempio quelli di una videocamera di sicurezza), i dati relativi alla formazione dovrebbero essere composti da video sfocati e a bassa risoluzione. In generale, ti consigliamo di fornire più angolazioni, risoluzioni e sfondi per i tuoi video di formazione.

  • I modelli AutoML Video in genere non possono prevedere etichette che le persone non possono assegnare. Pertanto, se un essere umano non può essere addestrato ad assegnare etichette guardando il video per 1-2 secondi, è probabile che il modello non possa essere addestrato a questo scopo.

  • Consigliamo circa 1000 video di formazione o segmenti di video per etichetta. Il numero minimo per etichetta è 10. In generale, la quantità di esempi per etichetta è maggiore per addestrare i modelli con più etichette per video e i punteggi risultanti sono più difficili da interpretare.

  • Il modello funziona meglio quando ci sono al massimo 100 video in più per l'etichetta più comune rispetto a quella meno comune. Ti consigliamo di rimuovere le etichette con frequenza molto bassa.

  • Valuta la possibilità di includere un'etichetta None_of_the_above e video che non corrispondano a nessuna delle tue etichette definite. Ad esempio, per un set di dati di animali, includi video di animali al di fuori delle varietà etichettate e etichettali come None_of_the_above. Ciò può migliorare la precisione del modello. Tieni presente che, benché qualsiasi nome di etichetta possa funzionare, None_of_the_above è trattato in modo speciale dal sistema.

Set di dati di addestramento, convalida e test

I dati di un set di dati sono suddivisi in tre set di dati durante l'addestramento di un modello: un set di dati di addestramento, un set di dati di convalida e un set di dati di test.

  • Per creare un modello viene utilizzato un set di dati di addestramento. Durante la ricerca di pattern nei dati di addestramento, vengono tentati più algoritmi e parametri.
  • Una volta identificati i pattern, il set di dati di convalida viene utilizzato per testare gli algoritmi e i pattern. Vengono scelti gli algoritmi e i pattern con il rendimento migliore tra quelli identificati durante la fase di formazione.
  • Dopo essere stati identificati, gli algoritmi e i pattern con le prestazioni migliori vengono testati utilizzando la percentuale di errori, la qualità e la precisione utilizzando il set di dati di test.

Per evitare i bias nel modello, vengono utilizzati sia un set di dati di test sia una convalida. Durante la fase di convalida vengono utilizzati parametri ottimali, che possono comportare metriche con bias. L'uso del set di dati di test per valutare la qualità del modello dopo la fase di convalida fornisce una valutazione imparziale della qualità del modello.

Per identificare i dati di addestramento, test e convalida, utilizza i file CSV come descritto nella sezione successiva.

Creare file CSV con URI ed etichette video

Dopo aver caricato i file in Google Cloud Storage, puoi creare file CSV in cui sono elencati tutti i dati di addestramento e le etichette delle categorie per tali dati. I file CSV possono avere nomi file diversi, devono trovarsi nello stesso bucket dei file video, avere la codifica UTF-8 e terminare con un'estensione .csv.

Esistono tre file che puoi utilizzare per l'addestramento e la verifica del modello:

File Descrizione
Elenco file addestramento modelli

Contiene i percorsi per la formazione del treno, il test e la convalida dei file CSV.

Questo file viene utilizzato per identificare le posizioni di massimo tre file CSV separati che descrivono i dati di addestramento e test.

Di seguito sono riportati alcuni esempi dei contenuti del file CSV con l'elenco dei file:

Esempio 1:


      TRAIN,gs://automl-video-demo-data/hmdb_split1_5classes_train.csv
      TEST,gs://automl-video-demo-data/hmdb_split1_5classes_test.csv
      

Esempio 2:


      UNASSIGNED,gs://automl-video-demo-data/hmdb_split1_5classes_all.csv
      
Dati di addestramento

Utilizzato per l'addestramento del modello. Contiene percorsi a file video, orari di inizio e di fine per i segmenti video ed etichette che identificano l'oggetto del segmento video.

Se specifichi un file CSV dei dati di addestramento, devi anche specificare un file CSV con i dati di test.

Dati di test

Utilizzato per testare il modello durante la fase di addestramento. Contiene percorsi a file video, orari di inizio e di fine per i segmenti video ed etichette che identificano l'oggetto del segmento video.

Se specifichi un file CSV dei dati di test, devi specificare anche un file CSV dei dati di addestramento.

Dati non assegnati

Utilizzato sia per l'addestramento che per il test del modello. Contiene percorsi a file video, orari di inizio e di fine per i segmenti video ed etichette che identificano l'oggetto del segmento video. Le righe nel file non assegnato vengono automaticamente divise in dati di addestramento e test. 80% per la formazione e 20% per i test.

Puoi specificare solo un file CSV con dati non assegnati senza file di addestramento e test con file CSV. Puoi anche specificare solo i file CSV con i dati di addestramento e test senza un file CSV con dati non assegnati.

I file di addestramento, test e non assegnati hanno una riga per ogni video del set che stai caricando, con queste colonne in ogni riga:

  1. I contenuti da classificare o annotare. Questo campo contiene l'URI Google Cloud Storage del video. Gli URI di Google Cloud Storage sono sensibili alle maiuscole.

  2. Un'etichetta che identifica il modo in cui il video viene classificato. . Le etichette devono iniziare con una lettera e contenere solo lettere, numeri e trattini bassi. Puoi specificare più etichette per un video aggiungendo più righe nel file CSV, ognuna delle quali identifica lo stesso segmento video, con un'etichetta diversa per ogni riga.

  3. Ora di inizio e di fine del segmento video. Questi due campi separati da virgole identificano i segmenti video da analizzare, in secondi. L'ora di inizio deve essere inferiore all'ora di fine. Entrambi i valori devono non essere negativi e rientrare nell'intervallo di tempo del video. Ad esempio, 0.09845,1.3600555. Per utilizzare l'intero contenuto del video, specifica un'ora di inizio pari a 0 e un'ora di fine pari all'intera durata del video Ad esempio: 0,inf.

Di seguito sono riportate alcune righe di esempio per un file di dati CSV:

Etichetta singola:

gs://<your-video-path>/vehicle.mp4,u-turn,0,5.4

Più etichette per lo stesso segmento di video:

gs://<your-video-path>/vehicle.mp4,right-turn,0,8.285
gs://<your-video-path>/vehicle.mp4,left-turn,0,8.285
gs://<your-video-path>/vehicle.mp4,u-turn,0,8.285

Utilizzare inf per indicare la fine di un video:

gs://<your-video-path>/vehicle.mp4,right-turn,0,inf

Per ottenere risultati ottimali, devi includere diverse centinaia di segmenti video di addestramento per etichetta, in modo da creare un modello preciso. Questo numero può variare a seconda della complessità dei dati.

Puoi anche fornire video nel file di dati CSV senza specificare alcuna etichetta. Devi quindi utilizzare l'interfaccia utente video di AutoML per applicare delle etichette ai dati prima di addestrare il modello. Per farlo, devi fornire l'URI Cloud Storage del video, seguito da tre virgole, come mostrato nell'esempio seguente.

gs://<your-video-path>/vehicle.mp4,,,

Non è necessario specificare i dati di convalida per verificare i risultati del modello addestrato. AutoML Video suddivide automaticamente le righe identificate per l'addestramento in dati di addestramento e convalida. 70% per l'addestramento e 30% per la convalida.

Salva i contenuti come file CSV nel bucket di Google Cloud Storage.

Errori comuni con CSV

  • Utilizzo dei caratteri Unicode nelle etichette. Ad esempio, i caratteri giapponesi non sono supportati.
  • Utilizzare spazi e caratteri non alfanumerici nelle etichette.
  • Righe vuote.
  • Colonne vuote (righe con due virgole successive).
  • Utilizzo errato delle lettere maiuscole nei percorsi video di Cloud Storage.
  • Controllo dell'accesso configurato per i tuoi file video non corretto. L'account di servizio deve avere accesso in lettura o superiore oppure i file devono essere leggibili pubblicamente.
  • Riferimenti a file non video (ad esempio file PDF o PSD). Analogamente, i file che non sono file video ma che sono stati rinominati con un'estensione video causeranno un errore.
  • URI dei punti video che punta a un bucket diverso dal progetto corrente. È possibile accedere solo ai video presenti nel bucket di progetto.
  • File in formato non CSV.