Entrenamiento eficiente de PyTorch con datos en la nube

Vertex AI Neural Architecture Search no tiene requisitos que describan cómo diseñar tus entrenadores. Por lo tanto, elige cualquier framework de entrenamiento para crear el entrenador.

Para entrenar modelos de PyTorch con grandes cantidades de datos, lo más recomendable es usar el paradigma de entrenamiento distribuido y leer los datos de Cloud Storage. Consulta la entrada de blog Entrenamiento eficiente de PyTorch con Vertex AI para ver métodos que te permitan mejorar el rendimiento del entrenamiento. Puedes observar una mejora general del rendimiento de 6 veces con los datos de Cloud Storage si usas WebDataset y eliges DistributedDataParallel o FullyShardedDataParallel estrategias de entrenamiento distribuido. El rendimiento del entrenamiento con datos de Cloud Storage es similar al rendimiento del entrenamiento con datos de un disco local.

El ejemplo de clasificación MNasNet precompilado ha incorporado estos métodos en su proceso de entrenamiento.