Contenedores previamente compilados para el entrenamiento personalizado

AI Platform (unificado) ofrece imágenes de contenedor de Docker que ejecutas como contenedores compilados previamente para el entrenamiento personalizado. Estos contenedores, organizados por el framework de aprendizaje automático (AA) y la versión del framework, incluyen dependencias comunes que es posible que quieras usar en el código de entrenamiento. En muchos casos, usar un contenedor compilado previamente es más sencillo que crear tu propio contenedor personalizado para el entrenamiento.

En este documento, se enumeran los contenedores compilados previamente para el entrenamiento y se describe cómo usarlos con una aplicación de entrenamiento de Python.

Imágenes de contenedor disponibles

Cada una de las siguientes imágenes de contenedor está disponible en varios repositorios de Artifact Registry, que almacenan datos en varias ubicaciones. Puedes usar cualquiera de los URI de una imagen cuando realices un entrenamiento personalizado; cada uno proporciona la misma imagen de contenedor. Si usas Google Cloud Console para realizar un entrenamiento personalizado, Cloud Console selecciona el URI que mejor coincida con la ubicación en la que usas AI Platform para reducir la latencia.

TensorFlow

Versión del marco de trabajo de AA ¿Usar con GPU? URI (elige cualquier opción) Dependencias incluidas

2.4

us-docker.pkg.dev/cloud-aiplatform/training/tf-cpu.2-4:latest
europe-docker.pkg.dev/cloud-aiplatform/training/tf-cpu.2-4:latest
asia-docker.pkg.dev/cloud-aiplatform/training/tf-cpu.2-4:latest

Paquetes PyPI

Paquetes de Ubuntu

tensorflow 2.4.x (parche más reciente)
numpy 1.19.4
pandas 1.1.5
scipy 1.5.4
scikit-learn 0.24.0
sympy 1.7.1
statsmodels 0.12.1
xgboost 1.3.1
oauth2client 4.1.3
httplib2 0.15.0
python-dateutil 2.8.1
six 1.15.0
future 0.18.2
PyYAML 3.13
wrapt 1.12.1
crcmod 1.7
google-api-python-client 1.9.0
python-json-logger 2.0.1
wheel 0.36.2
WebOb 1.8.6
Paste 3.5.0
tornado 5.1.1
grpcio 1.32.0
requests 2.25.1
webapp2 3.0.0b1
mock 4.0.3
google-cloud-bigquery 2.6.1
google-cloud-bigtable 1.6.1
google-cloud-datastore 2.1.0
google-cloud-logging 1.15.0
google-cloud-pubsub 2.2.0
google-cloud-resource-manager 0.30.3
google-cloud-storage 1.35.0
joblib 1.0.0
cloudml-hypertune
psutil 5.8.0

curl
libcurl3-dev
wget
zip
unzip
git
vim
build-essential
ca-certificates
pkg-config
rsync
ca-certificates-java
libatlas-base-dev
liblapack-dev
gfortran
libpng-dev
libjpeg-dev
python3.7
python3-dev
python3.7-dev
python3-pip
python3-setuptools
python2.7
python-dev
python-setuptools
gdb
openjdk-8-jdk
openjdk-8-jre-headless
g++
zlib1g-dev
libio-all-perl
module-init-tools
libsnappy-dev
libyaml-0-2
python-opencv

2.4

Sí

us-docker.pkg.dev/cloud-aiplatform/training/tf-gpu.2-4:latest
europe-docker.pkg.dev/cloud-aiplatform/training/tf-gpu.2-4:latest
asia-docker.pkg.dev/cloud-aiplatform/training/tf-gpu.2-4:latest

Paquetes PyPI

Paquetes de Ubuntu

2.3

us-docker.pkg.dev/cloud-aiplatform/training/tf-cpu.2-3:latest
europe-docker.pkg.dev/cloud-aiplatform/training/tf-cpu.2-3:latest
asia-docker.pkg.dev/cloud-aiplatform/training/tf-cpu.2-3:latest

Paquetes PyPI

Paquetes de Ubuntu

tensorflow 2.3.x (parche más reciente)
numpy 1.18.5
pandas 1.1.3
scipy 1.4.1
scikit-learn 0.23.2
sympy 1.6.2
statsmodels 0.12.0
xgboost 1.2.1
oauth2client 4.1.3
httplib2 0.15.0
python-dateutil 2.8.1
six 1.15.0
future 0.18.2
PyYAML 3.13
wrapt 1.12.1
crcmod 1.7
google-api-python-client 1.9.0
python-json-logger 2.0.1
wheel 0.35.1
WebOb 1.8.6
Paste 3.5.0
tornado 5.1.1
grpcio 1.33.1
requests 2.24.0
webapp2 3.0.0b1
mock 4.0.2
google-cloud-bigquery 2.2.0
google-cloud-bigtable 1.5.1
google-cloud-datastore 1.15.3
google-cloud-logging 1.15.0
google-cloud-pubsub 2.1.0
google-cloud-resource-manager 0.30.2
google-cloud-storage 1.32.0
joblib 0.17.0
cloudml-hypertune
psutil 5.7.2

2.3

Sí

us-docker.pkg.dev/cloud-aiplatform/training/tf-gpu.2-3:latest
europe-docker.pkg.dev/cloud-aiplatform/training/tf-gpu.2-3:latest
asia-docker.pkg.dev/cloud-aiplatform/training/tf-gpu.2-3:latest

Paquetes PyPI

Paquetes de Ubuntu

2.2

us-docker.pkg.dev/cloud-aiplatform/training/tf-cpu.2-2:latest
europe-docker.pkg.dev/cloud-aiplatform/training/tf-cpu.2-2:latest
asia-docker.pkg.dev/cloud-aiplatform/training/tf-cpu.2-2:latest

Paquetes PyPI

Paquetes de Ubuntu

tensorflow 2.2.x (parche más reciente)
numpy 1.18.5
pandas 1.0.4
scipy 1.4.1
scikit-learn 0.23.1
sympy 1.6
statsmodels 0.11.1
xgboost 1.1.1
oauth2client 4.1.3
httplib2 0.18.1
python-dateutil 2.8.1
six 1.15.0
future 0.18.2
PyYAML 5.3.1
wrapt 1.12.1
crcmod 1.7
google-api-python-client 1.9.3
python-json-logger 0.1.11
wheel 0.34.2
WebOb 1.8.6
Paste 3.4.1
tornado 5.1.1
grpcio 1.29.0
requests 2.23.0
webapp2 3.0.0b1
mock 4.0.2
google-cloud-bigquery 1.25.0
google-cloud-bigtable 1.2.1
google-cloud-datastore 1.12.0
google-cloud-logging 1.15.0
google-cloud-pubsub 1.6.0
google-cloud-resource-manager 0.30.2
google-cloud-storage 1.29.0
joblib 0.15.1
cloudml-hypertune
psutil 5.7.0

2.2

Sí

us-docker.pkg.dev/cloud-aiplatform/training/tf-gpu.2-2:latest
europe-docker.pkg.dev/cloud-aiplatform/training/tf-gpu.2-2:latest
asia-docker.pkg.dev/cloud-aiplatform/training/tf-gpu.2-2:latest

Paquetes PyPI

Paquetes de Ubuntu

2.1

us-docker.pkg.dev/cloud-aiplatform/training/tf-cpu.2-1:latest
europe-docker.pkg.dev/cloud-aiplatform/training/tf-cpu.2-1:latest
asia-docker.pkg.dev/cloud-aiplatform/training/tf-cpu.2-1:latest

Paquetes PyPI

Paquetes de Ubuntu

tensorflow 2.1.0
numpy 1.18.0
pandas 0.25.3
scipy 1.4.1
scikit-learn 0.22.1
sympy 1.5
statsmodels 0.10.2
xgboost 0.90
oauth2client 4.1.3
httplib2 0.15.0
python-dateutil 2.8.1
six 1.13.0
future 0.18.2
PyYAML 5.2
wrapt 1.11.2
crcmod 1.7
google-api-python-client 1.7.11
python-json-logger 0.1.11
wheel 0.33.6
WebOb 1.8.5
Paste 3.2.3
tornado 5.1.1
grpcio 1.26.0
requests 2.22.0
webapp2 3.0.0b1
mock 3.0.5
google-cloud-bigquery 1.23.1
google-cloud-bigtable 1.2.0
google-cloud-datastore 1.10.0
google-cloud-logging 1.14.0
google-cloud-pubsub 1.1.0
google-cloud-resource-manager 0.30.0
google-cloud-storage 1.23.0
joblib 0.14.1
cloudml-hypertune
psutil 5.7.0

2.1

Sí

us-docker.pkg.dev/cloud-aiplatform/training/tf-gpu.2-2:latest
europe-docker.pkg.dev/cloud-aiplatform/training/tf-gpu.2-2:latest
asia-docker.pkg.dev/cloud-aiplatform/training/tf-gpu.2-2:latest

Paquetes PyPI

Paquetes de Ubuntu

1.15

us-docker.pkg.dev/cloud-aiplatform/training/tf-cpu.1-15:latest
europe-docker.pkg.dev/cloud-aiplatform/training/tf-cpu.1-15:latest
asia-docker.pkg.dev/cloud-aiplatform/training/tf-cpu.1-15:latest

Paquetes PyPI

Paquetes de Ubuntu

tensorflow 1.15.0
numpy 1.16.5
pandas 0.24.2
scipy 1.2.2
scikit-learn 0.20.4
sympy 1.4
statsmodels 0.10.1
xgboost 0.82
oauth2client 4.1.3
httplib2 0.12.0
python-dateutil 2.7.5
argparse 1.4.0
six 1.12.0
future 0.17.1
PyYAML 3.13
wrapt 1.11.1
crcmod 1.7
google-api-python-client 1.7.8
python-json-logger 0.1.10
wheel 0.32.3
WebOb 1.8.5
Paste 3.0.6
tornado 5.1.1
grpcio 1.18.0
requests 2.19.0
webapp2 3.0.0b1
mock 2.0.0
google-cloud-bigquery 1.20.0
google-cloud-bigtable 1.0.0
google-cloud-datastore 1.9.0
google-cloud-logging 1.12.1
google-cloud-pubsub 1.0.0
google-cloud-resource-manager 0.29.2
google-cloud-storage 1.19.1
joblib 0.13.0
cloudml-hypertune
psutil 5.7.0

1.15

Sí

us-docker.pkg.dev/cloud-aiplatform/training/tf-gpu.1-15:latest
europe-docker.pkg.dev/cloud-aiplatform/training/tf-gpu.1-15:latest
asia-docker.pkg.dev/cloud-aiplatform/training/tf-gpu.1-15:latest

Paquetes PyPI

Paquetes de Ubuntu

scikit-learn

Versión del marco de trabajo de AA ¿Usar con GPU? URI (elige cualquier opción) Dependencias incluidas

0.23

us-docker.pkg.dev/cloud-aiplatform/training/scikit-learn-cpu.0-23:latest
europe-docker.pkg.dev/cloud-aiplatform/training/scikit-learn-cpu.0-23:latest
asia-docker.pkg.dev/cloud-aiplatform/training/scikit-learn-cpu.0-23:latest

Paquetes PyPI

Paquetes de Ubuntu

numpy 1.18.5
pandas 1.0.4
scipy 1.4.1
scikit-learn 0.23.1
sympy 1.6
statsmodels 0.11.1
xgboost 1.1.1
oauth2client 4.1.3
httplib2 0.18.1
python-dateutil 2.8.1
six 1.15.0
future 0.18.2
PyYAML 5.3.1
wrapt 1.12.1
crcmod 1.7
google-api-python-client 1.9.3
python-json-logger 0.1.11
wheel 0.34.2
WebOb 1.8.6
Paste 3.4.1
tornado 5.1.1
grpcio 1.29.0
requests 2.23.0
webapp2 3.0.0b1
mock 4.0.2
google-cloud-bigquery 1.25.0
google-cloud-bigtable 1.2.1
google-cloud-datastore 1.12.0
google-cloud-logging 1.15.0
google-cloud-pubsub 1.6.0
google-cloud-resource-manager 0.30.2
google-cloud-storage 1.29.0
joblib 0.15.1
cloudml-hypertune

PyTorch

Versión del marco de trabajo de AA	¿Usar con GPU?	URI (elige cualquier opción)	Dependencias incluidas
1.7	No	`us-docker.pkg.dev/cloud-aiplatform/training/pytorch-xla.1-7:latest` `europe-docker.pkg.dev/cloud-aiplatform/training/pytorch-xla.1-7:latest` `asia-docker.pkg.dev/cloud-aiplatform/training/pytorch-xla.1-7:latest`	Dependencias de contenedores de aprendizaje profundo de AI Platform
1.7	Sí	`us-docker.pkg.dev/cloud-aiplatform/training/pytorch-gpu.1-7:latest` `europe-docker.pkg.dev/cloud-aiplatform/training/pytorch-gpu.1-7:latest` `asia-docker.pkg.dev/cloud-aiplatform/training/pytorch-gpu.1-7:latest`	Dependencias de contenedores de aprendizaje profundo de AI Platform
1.6	No	`us-docker.pkg.dev/cloud-aiplatform/training/pytorch-xla.1-6:latest` `europe-docker.pkg.dev/cloud-aiplatform/training/pytorch-xla.1-6:latest` `asia-docker.pkg.dev/cloud-aiplatform/training/pytorch-xla.1-6:latest`	Dependencias de contenedores de aprendizaje profundo de AI Platform
1.6	Sí	`us-docker.pkg.dev/cloud-aiplatform/training/pytorch-gpu.1-6:latest` `europe-docker.pkg.dev/cloud-aiplatform/training/pytorch-gpu.1-6:latest` `asia-docker.pkg.dev/cloud-aiplatform/training/pytorch-gpu.1-6:latest`	Dependencias de contenedores de aprendizaje profundo de AI Platform
1.4	No	`us-docker.pkg.dev/cloud-aiplatform/training/pytorch-cpu.1-4:latest` `europe-docker.pkg.dev/cloud-aiplatform/training/pytorch-cpu.1-4:latest` `asia-docker.pkg.dev/cloud-aiplatform/training/pytorch-cpu.1-4:latest`	Dependencias de contenedores de aprendizaje profundo de AI Platform
1.4	Sí	`us-docker.pkg.dev/cloud-aiplatform/training/pytorch-gpu.1-4:latest` `europe-docker.pkg.dev/cloud-aiplatform/training/pytorch-gpu.1-4:latest` `asia-docker.pkg.dev/cloud-aiplatform/training/pytorch-gpu.1-4:latest`	Dependencias de contenedores de aprendizaje profundo de AI Platform

XGBoost

Versión del marco de trabajo de AA ¿Usar con GPU? URI (elige cualquier opción) Dependencias incluidas

1.1

us-docker.pkg.dev/cloud-aiplatform/training/xgboost-cpu.1-1:latest
europe-docker.pkg.dev/cloud-aiplatform/training/xgboost-cpu.1-1:latest
asia-docker.pkg.dev/cloud-aiplatform/training/xgboost-cpu.1-1:latest

Paquetes PyPI

Paquetes de Ubuntu

Usa un contenedor compilado previamente

Para usar un contenedor compilado previamente, lee la guía de configuración de los contenedores.

Si usas una imagen de contenedor compatible con GPU, asegúrate de especificar los campos machineSpec.acceleratorType y machineSpec.acceleratorCount cuando crees tu recurso CustomJob, HyperparameterTuningJob o TrainingPipeline.

¿Qué sigue?

Obtén más información sobre cómo crear una aplicación de entrenamiento de Python para usar con un contenedor compilado previamente.