使用云数据进行高效的 PyTorch 训练

Vertex AI 神经架构搜索没有描述如何设计训练程序的要求。因此，选择任何训练框架均可构建训练程序。

对于使用大量数据的 PyTorch 训练，最佳做法是使用分布式训练范例并从 Cloud Storage 中读取数据。查看使用 Vertex AI 进行高效 PyTorch 训练这篇博文，了解如何提高训练性能。使用 WebDataset 和选择 DistributedDataParallel 或 FullyShardedDataParallel 分布式训练策略时，利用 Cloud Storage 上的数据可实现 6 倍的总体性能提升。使用 Cloud Storage 上的数据的训练性能类似于使用本地磁盘上的数据的训练性能。

预构建的 MNasNet 分类示例已将这些方法整合到其训练流水线中。