Questa pagina fornisce una panoramica dell'addestramento con algoritmi integrati. Con gli algoritmi integrati di AI Platform Training, puoi eseguire job di addestramento sui tuoi dati senza scrivere codice per un'applicazione di addestramento. Puoi inviare i tuoi dati di addestramento, selezionare un algoritmo e poi consentire ad AI Platform Training di gestire la preelaborazione e l'addestramento per te. Dopodiché, è facile eseguire il deployment del modello e ottenere le previsioni in AI Platform Training.
Come funziona l'addestramento con algoritmi integrati
AI Platform Training esegue il job di addestramento sulle risorse di calcolo nel cloud. Ecco la procedura generale:
- Confronta gli algoritmi integrati disponibili per determinare se sono adatti al tuo set di dati e al tuo caso d'uso specifici.
- In questo caso, seleziona l'algoritmo integrato più adatto alle tue esigenze.
- Se nessun algoritmo integrato è adatto, puoi creare un'applicazione di addestramento da eseguire su AI Platform Training.
- Formatta i dati di input per l'addestramento con l'algoritmo integrato. Devi inviare i dati come file CSV con la riga di intestazione rimossa e la colonna di destinazione deve essere impostata come prima colonna. Se applicabile, segui eventuali requisiti di formattazione aggiuntivi specifici per l'algoritmo integrato in uso.
- Se non ne hai già uno, crea un bucket Cloud Storage in cui AI Platform Training possa archiviare l'output dell'addestramento.
- Seleziona le opzioni per personalizzare il job di addestramento. Innanzitutto, effettua delle selezioni per configurare il job di addestramento complessivo, quindi effettua ulteriori selezioni per configurare l'algoritmo in modo specifico. Se vuoi, puoi effettuare altre selezione per configurare l'ottimizzazione degli iperparametri per il tuo job.
- Per il job di addestramento complessivo, seleziona un nome, l'algoritmo integrato da utilizzare, le macchine da utilizzare, la regione in cui deve essere eseguito il job e la posizione del bucket Cloud Storage in cui vuoi che AI Platform Training memorizzi i risultati dell'addestramento.
- Per le selezioni specifiche dell'algoritmo, puoi attivare AI Platform Training per eseguire la preelaborazione automatica del set di dati. Puoi anche specificare argomenti come il tasso di apprendimento, i passaggi di addestramento e la dimensione del batch.
- Per l'ottimizzazione degli iperparametri, puoi selezionare una metrica obiettivo, ad esempio la massimizzazione dell'accuratezza predittiva del modello o la minimizzazione della perdita di addestramento. Inoltre, puoi ottimizzare iperparametri specifici e impostare intervalli per i relativi valori.
- Invia il job di addestramento e visualizza i log per monitorarne l'avanzamento e lo stato.
- Una volta completato il job di addestramento, puoi eseguire il deployment del modello addestrato su AI Platform Training per configurare un server di previsione e ottenere previsioni su nuovi dati.
Limitazioni
Tieni presente le seguenti limitazioni per l'addestramento con gli algoritmi integrati:
- L'addestramento distribuito non è supportato. Per eseguire un job di addestramento distribuito su AI Platform Training, devi creare un'applicazione di addestramento.
- I job di addestramento inviati tramite la console Google Cloud utilizzano solo tipi di macchine legacy. Puoi utilizzare i tipi di macchine Compute Engine con i job di addestramento inviati tramite
gcloudo la libreria client dell'API di Google per Python. Scopri di più sui tipi di macchine per l'addestramento. - Le GPU sono supportate per alcuni algoritmi. Per ulteriori informazioni, consulta il confronto dettagliato di tutti gli algoritmi integrati.
- Le macchine con più GPU non offrono una maggiore velocità con l'addestramento dell'algoritmo integrato. Se utilizzi GPU, seleziona macchine con una singola GPU.
- Le TPU non sono supportate per l'addestramento con algoritmi tabulari integrati. Devi creare un'applicazione di addestramento. Scopri come eseguire un job di addestramento con le TPU.
Eventuali ulteriori limitazioni per algoritmi integrati specifici sono indicate nelle corrispondente guide per ciascun algoritmo.
Ottimizzazione degli iperparametri
L'ottimizzazione degli iperparametri è supportata per l'addestramento con algoritmi integrati. Innanzitutto, specifica una metrica obiettivo, oltre a indicare se minimizzarla o massimizzarla. Puoi massimizzare l'accuratezza del modello per la classificazione o ridurre al minimo la perdita di addestramento. Quindi, elenca gli iperparametri che vuoi modificare, insieme a un valore target per ogni iperparametro.
Quando invii il job di addestramento con l'ottimizzazione degli iperparametri, l'AI Platform Training esegue più prove, monitorando e regolando gli iperparametri dopo ogni prova. Al termine del job di ottimizzazione degli iperparametri, AI Platform Training riporta i valori per la configurazione più efficace degli iperparametri, nonché un riepilogo per ogni prova.
Scopri di più sull'ottimizzazione degli iperparametri in AI Platform Training.
Panoramica degli algoritmi
Gli algoritmi integrati ti aiutano ad addestrare modelli per una serie di casi d'uso che vengono comunemente risolti con la classificazione e la regressione. Per l'addestramento su AI Platform Training sono disponibili i seguenti algoritmi integrati:
- Apprendimento lineare
- Ampio e profondo
- TabNet
- XGBoost
- Classificazione delle immagini
- Rilevamento di oggetti
Apprendimento lineare
L'algoritmo di Linear Learner integrato viene utilizzato per la regressione logistica, la classificazione binaria e la classificazione multiclasse. AI Platform Training utilizza un'implementazione basata su un estimatore TensorFlow.
Un modello di Linear Learner assegna un peso a ogni caratteristica di input e somma i pesi per prevedere un valore target numerico. Per la regressione logistica, questo valore viene convertito in un valore compreso tra 0 e 1. Questo semplice tipo di modello è facile da interpretare, perché puoi confrontare i pesi delle caratteristiche per determinare quali caratteristiche di input hanno un impatto significativo sulle tue previsioni.
Scopri di più su come funzionano i modelli lineari su larga scala.
Ampio e profondo
L'algoritmo Wide and Deep integrato viene utilizzato per problemi di classificazione e regressione su larga scala, come motori per suggerimenti, ricerca e problemi di classificazione. AI Platform Training utilizza un'implementazione basata su TensorFlow Estimator.
Questo tipo di modello combina un modello lineare che apprende e "memorizza" una vasta gamma di regole con una rete neurale profonda che "generalizza" le regole e le applica correttamente a caratteristiche simili in nuovi dati non rilevati.
Scopri di più su wide e deep learning.
TabNet
L'algoritmo integrato TabNet viene utilizzato per i problemi di classificazione e regressione sui dati tabulari. AI Platform Training utilizza un'implementazione basata su TensorFlow.
L'algoritmo integrato di TabNet fornisce anche attribuzioni delle funzionalità per aiutare a interpretare il comportamento del modello e a spiegare le sue previsioni.
Scopri di più su TabNet come nuovo algoritmo integrato.
XGBoost
XGBoost (eXtreme Gradient Boosting) è un framework che implementa un algoritmo di boosting del gradiente. XGBoost consente un apprendimento supervisionato efficiente per le attività di classificazione, regressione e ranking. L'addestramento di XGBoost si basa su ensemble di alberi decisionali, che combinano i risultati di più modelli di classificazione e regressione.
Scopri di più su come funziona XGBoost.
Classificazione delle immagini
L'algoritmo integrato di rilevamento delle immagini utilizza i modelli di classificazione delle immagini di TensorFlow. Puoi addestrare un modello di classificazione delle immagini basato su un'implementazione di TensorFlow di EfficientNet o ResNet.
Rilevamento di oggetti
L'algoritmo di rilevamento di oggetti integrato utilizza l'API TensorFlow Object Detection per creare un modello in grado di identificare più oggetti all'interno di una singola immagine.
Confronto degli algoritmi integrati
La tabella seguente fornisce un breve confronto degli algoritmi integrati:
| Nome algoritmo | Modello ML utilizzato | Tipo di problema | Casi d'uso di esempio | Acceleratori supportati per l'addestramento |
|---|---|---|---|---|
| Apprendimento lineare | TensorFlow Estimator LinearClassifier e LinearRegressor. |
Classificazione, regressione | Previsione delle vendite | GPU |
| Ampio e profondo | Estimatore TensorFlow DNNLinearCombinedClassifier, DNNLinearCombinedEstimator e DNNLinearCombinedRegressor. |
Classificazione, regressione, ranking | Sistemi di consigli, ricerca | GPU |
| TabNet | TensorFlow Estimator | Classificazione, regressione | Previsione della percentuale di clic (CTR) pubblicitaria, rilevamento delle attività fraudolente | GPU |
| XGBoost | XGBoost | Classificazione, regressione | Previsione della percentuale di clic (CTR) pubblicitaria | GPU (supportata solo dalla versione distribuita dell'algoritmo) |
| Classificazione delle immagini | Modelli di classificazione delle immagini TensorFlow | Classificazione | Classificare le immagini | GPU, TPU |
| Rilevamento di oggetti | API TensorFlow Object Detection | Rilevamento di oggetti | Rilevamento di oggetti all'interno di scene di immagini complesse | GPU, TPU |
Container dell'algoritmo
Quando invii il job di addestramento ad AI Platform Training, seleziona l'algoritmo specificando l'URI del relativo container Docker ospitato in Container Registry. Gli algoritmi integrati sono disponibili tramite i seguenti contenuti:
| Algoritmo | URI di Container Registry |
|---|---|
| Apprendimento lineare |
gcr.io/cloud-ml-algos/linear_learner_cpu:latestgcr.io/cloud-ml-algos/linear_learner_gpu:latest
|
| Ampio e profondo |
gcr.io/cloud-ml-algos/wide_deep_learner_cpu:latestgcr.io/cloud-ml-algos/wide_deep_learner_gpu:latest
|
| TabNet |
gcr.io/cloud-ml-algos/tab_net:latest |
| XGBoost |
gcr.io/cloud-ml-algos/boosted_trees:latestgcr.io/cloud-ml-algos/xgboost_dist:latest
|
| Classificazione delle immagini |
gcr.io/cloud-ml-algos/image_classification:latest
|
| Rilevamento di oggetti |
gcr.io/cloud-ml-algos/image_object_detection:latest
|
Passaggi successivi
- Scopri in che modo l'AI Platform Training esegue l'elaborazione preliminare dei dati per l'addestramento con algoritmi integrati.
- Prova un tutorial introduttivo per l'addestramento dell'algoritmo integrato.