Entrenamiento eficiente de PyTorch con datos en la nube
Organiza tus páginas con colecciones
Guarda y categoriza el contenido según tus preferencias.
La búsqueda de arquitectura neuronal de Vertex AI no tiene requisitos que describan cómo diseñar tus entrenadores. Por lo tanto, elige cualquier framework de entrenamiento para compilar el entrenador.
Para el entrenamiento de PyTorch con grandes cantidades de datos, la práctica recomendada es usar el paradigma de entrenamiento distribuido y leer datos de Cloud Storage.
Consulta la entrada de blog Entrenamiento eficiente de PyTorch con Vertex AI para conocer los métodos que permiten mejorar el rendimiento del entrenamiento. Puedes ver una mejora general del séxtuple del rendimiento con datos en Cloud Storage mediante el uso de WebDataset y la elección de estrategias de entrenamiento distribuidas DistributedDataParallel o FullyShardedDataParallel. El rendimiento del entrenamiento mediante datos en Cloud Storage es similar al rendimiento del entrenamiento mediante datos en un disco local.
En el ejemplo de clasificación MNasNet compilado previamente, se incorporaron estos métodos en su canalización de entrenamiento.
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Información o código de muestra incorrectos","incorrectInformationOrSampleCode","thumb-down"],["Faltan la información o los ejemplos que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-09-04 (UTC)"],[],[],null,["# Efficient PyTorch training with cloud data\n\nVertex AI Neural Architecture Search has no requirements describing how to\ndesign your trainers. Therefore, choose any training frameworks to build the trainer.\n\nFor PyTorch training with large amounts of data, the best practice is to use the distributed training\nparadigm and to read data from Cloud Storage.\nCheck out the blog post\n[Efficient PyTorch training with Vertex AI](https://cloud.google.com/blog/products/ai-machine-learning/efficient-pytorch-training-with-vertex-ai) for methods to improve the training\nperformance. You can see an overall 6x performance improvement with data on\nCloud Storage using `WebDataset` and choosing `DistributedDataParallel` or\n`FullyShardedDataParallel` distributed training strategies. The training\nperformance using data on Cloud Storage is similar to the training performance using data on\na local disk.\n\nThe prebuilt\n[MNasNet classification example](https://github.com/google/vertex-ai-nas/blob/main/pytorch/classification/cloud_search_main.py)\nhas incorporated these methods into its training pipeline."]]
