Gestione delle versioni di runtime

AI Platform Training utilizza le immagini per configurare le VM che gestiscono le tue richieste di addestramento e previsione nel cloud. Queste immagini contengono la base sistema operativo, pacchetti tecnologici di base, pacchetti pip (Python librerie) e pacchetti del sistema operativo. L'upgrade delle immagini viene eseguito periodicamente per includere nuovi miglioramenti e funzionalità. Controllo delle versioni di AI Platform Training consente di selezionare la configurazione giusta per lavorare con il tuo modello.

Note importanti sul controllo delle versioni

  • Dovresti sempre testare accuratamente i job e i modelli di addestramento a una nuova versione del runtime, indipendentemente dal fatto che si tratti di una un piccolo aggiornamento.

  • AI Platform Training supporta ogni versione del runtime per 12 mesi dopo il suo . Al termine del periodo di 12 mesi, non potrai più creare job di addestramento, job di previsione batch o versioni del modello che utilizzano la versione di runtime.

    Ventiquattro mesi dopo il rilascio della versione del runtime, AI Platform Prediction Elimina tutte le versioni del modello che utilizzano la versione del runtime.

    Scopri di più sulla cronologia della disponibilità per il runtime le versioni secondarie.

Informazioni sui numeri di versione

Le immagini utilizzate da AI Platform Training corrispondono alla versione di runtime di AI Platform Training. La versione del runtime utilizza seguente formato:

major_version.minor_version

Versioni maggiori e minori

Vengono create periodicamente nuove versioni principali e secondarie per incorporare una o più dei seguenti:

  • Release per:
    • Sistema operativo
    • Framework di machine learning supportati
  • Modifiche o aggiornamenti alla funzionalità AI Platform Training.

Una nuova versione principale può includere modifiche che provocano un errore e che richiedono aggiornamenti del codice rispetto alle versioni precedenti. Una nuova versione secondaria non deve includere che interrompono l'esecuzione di modifiche ed essere compatibile con le versioni precedenti la stessa versione principale.

Selezione delle versioni del runtime

Assicurati di selezionare la versione del runtime che supporta le versioni più recenti del tuo framework di machine learning e degli altri pacchetti in uso.

La prima versione del runtime di AI Platform Training che fornisce supporto per scikit-learn e XGBoost sono versioni 1,13.

Puoi visualizzare i dettagli di ogni versione nell'elenco delle versioni di AI Platform Training.

Impostazione della versione del runtime

Assicurati di impostare la versione del runtime quando invii una richiesta di job di addestramento:

gcloud

Utilizza il flag --runtime-version quando esegui il comando gcloud ai-platform jobs submit training.

gcloud ai-platform jobs submit training my_job \
    --module-name trainer.task \
    --job-dir gs://my/training/job/directory \
    --package-path /path/to/my/project/trainer \
    --region us-central1 \
    --runtime-version 2.11 \
    --python-version 3.7

Python

Imposta runtimeVersion quando definisci la richiesta del job di addestramento:

training_inputs = {'scaleTier': 'BASIC',
    'packageUris': ['gs://my/trainer/path/package-0.0.0.tar.gz'],
    'pythonModule': 'trainer.task'
    'args': ['--arg1', 'value1', '--arg2', 'value2'],
    'region': 'us-central1',
    'jobDir': 'gs://my/training/job/directory',
    'runtimeVersion': '2.11',
    'pythonVersion': '3.7'}

job_spec = {'jobId': my_job_name, 'trainingInput': training_inputs}

Scopri di più sull'invio di un job di addestramento nell'API TrainingInput.

Impostazione della versione Python

Python 3.7 è disponibile nel runtime versione 1.15 e successive.

Le versioni precedenti di Python sono disponibili per alcune versioni del runtime:

  • Python 3.5 è disponibile quando utilizzi il runtime di AI Platform Training dalla versione 1.13 alla 1.14.

  • Python 2.7 è disponibile nelle versioni del runtime 1.15 e precedenti.

L'esempio seguente mostra come specificare Python 3.7 per l'addestramento. Puoi specificare Python 3.5 o Python 2.7 in modo simile.

gcloud

Per utilizzare Python 3.7 per l'addestramento, specifica --python-version 3.7 e usa runtime versione 1.15 o successive:

gcloud ai-platform jobs submit training my_job \
    --module-name trainer.task \
    --job-dir gs://my/training/job/directory \
    --package-path /path/to/my/project/trainer \
    --python-version 3.7 \
    --region us-central1 \
    --runtime-version 2.11

Python

Per utilizzare Python 3.7 per l'addestramento, imposta runtimeVersion sulla versione '1.15' o successiva e pythonVersion su '3.7':

training_inputs = {'scaleTier': 'BASIC',
    'packageUris': ['gs://my/trainer/path/package-0.0.0.tar.gz'],
    'pythonModule': 'trainer.task'
    'args': ['--arg1', 'value1', '--arg2', 'value2'],
    'region': 'us-central1',
    'jobDir': 'gs://my/training/job/directory',
    'runtimeVersion': '2.11',
    'pythonVersion': '3.7'}

job_spec = {'jobId': my_job_name, 'trainingInput': training_inputs}

Ulteriori dettagli sull'invio di un job di addestramento sono disponibili nel API TrainingInput.

Utilizzo di pacchetti personalizzati

Esistono tre modi per modificare i pacchetti nelle istanze di addestramento:

  • Creazione di un container personalizzato che preinstalla le dipendenze su un'immagine
  • specifica i pacchetti PyPI come dipendenze per il pacchetto di addestramento
  • il caricamento manuale dei file dei pacchetti (tarball) e l'inclusione dei relativi percorsi come input di addestramento

Creazione di un container personalizzato

Anziché utilizzare una versione di runtime, puoi creare un container Docker per includere le tue dipendenze. Scopri di più su come utilizzare i container personalizzati.

# Specifies base image and tag
FROM image:tag
WORKDIR /root

# Installs additional packages
RUN pip install pkg1 pkg2 pkg3

# Downloads training data
RUN curl https://example-url/path-to-data/data-filename --output /root/data-filename

# Copies the trainer code to the docker image.
COPY your-path-to/model.py /root/model.py
COPY your-path-to/task.py /root/task.py

# Sets up the entry point to invoke the trainer.
ENTRYPOINT ["python", "task.py"]

Inclusione delle dipendenze del pacchetto PyPI

Puoi specificare i pacchetti PyPI e le relative versioni come dipendenze per il trainer usando il normale processo degli strumenti di configurazione:

  1. Nella directory di primo livello dell'applicazione per formatori, includi un file setup.py .

  2. Quando chiami setuptools.setup in setup.py, passa un elenco di dipendenze e, facoltativamente, le relative versioni come parametro install_requires. Questo il file setup.py di esempio illustra la procedura:

    from setuptools import find_packages
from setuptools import setup

REQUIRED_PACKAGES = ['some_PyPI_package>=1.5',
                     'another_package==2.6']

setup(
    name='trainer',
    version='0.1',
    install_requires=REQUIRED_PACKAGES,
    packages=find_packages(),
    include_package_data=True,
    description='Generic example trainer package with dependencies.')

AI Platform Training forza la reinstallazione dei pacchetti, quindi puoi sostituire i pacchetti che fanno parte dell'immagine della versione di runtime con versioni più recenti o precedenti.

Caricare i file del pacchetto

Puoi includere file del pacchetto aggiuntivi nella richiesta del job di addestramento. Carichi i pacchetti su Cloud Storage e specifichi un elenco di pacchetti da installare su ogni istanza di addestramento. Installazioni AI Platform Training tutti i pacchetti con pip. I pacchetti progettati per altri gestori di pacchetti non sono supportati.

gcloud

Usa il flag --packages quando esegui gcloud ai-platform jobs submit training . Imposta il valore su un elenco separato da virgole dei percorsi di tutti i pacchetti aggiuntivi. Tieni presente che l'elenco non può contenere spazi vuoti tra le voci corrispondenti.

gcloud ai-platform jobs submit training my_job \
    --staging-bucket gs://my-bucket \
    --package-path /path/to/my/project/trainer \
    --module-name trainer.task \
    --runtime-version 2.11 \
    --python-version 3.7 \
    --packages dep1.tar.gz,dep2.whl

Python

Aggiungere all'elenco tutti i pacchetti aggiuntivi che utilizzi per il valore di packageUris in TrainingInput .

training_inputs = {'scaleTier': 'BASIC',
    'packageUris': ['gs://my/trainer/path/package-0.0.0.tar.gz',
                    'gs://my/dependencies/path/dep1.tar.gz',
                    'gs://my/dependencies/path/dep2.whl'],
    'pythonModule': 'trainer.task'
    'args': ['--arg1', 'value1', '--arg2', 'value2'],
    'region': 'us-central1',
    'jobDir': 'gs://my/training/job/directory',
    'runtimeVersion': '2.11',
    'pythonVersion': '3.7'}

    job_spec = {'jobId': my_job_name, 'trainingInput': training_inputs}

Specifica di versioni personalizzate di TensorFlow per l'addestramento

L'utilizzo di una versione di TensorFlow più recente rispetto alla versione del runtime supportata più recente su AI Platform Training è possibile per l'addestramento, ma non per la previsione.

Per utilizzare una versione di TensorFlow non ancora supportata come versione completa del runtime di AI Platform Training, includila come dipendenza personalizzata per il tuo trainer utilizzando uno dei seguenti approcci:

  1. Specifica la versione di TensorFlow nel file setup.py come dipendenza PyPI. Includila nell'elenco dei pacchetti richiesti come segue:

     REQUIRED_PACKAGES = ['tensorflow>=2.11']

  2. Compila un file binario di TensorFlow dalle sorgenti, assicurandoti di seguire le istruzioni per TensorFlow con supporto solo per CPU. Questo processo genera un pacchetto pip (file .whl) che puoi includere nella richiesta di lavoro di addestramento aggiungendolo al tuo elenco di pacchetti.

La creazione di un file binario TensorFlow da includere come pacchetto personalizzato è una procedura ma il vantaggio è che puoi usare la versione più recente vengono aggiornati durante l'addestramento del modello.

Passaggi successivi

Indietro
Elenco delle versioni di runtime