Der Trainingsdienst von AI Platform Training verwaltet die Rechenressourcen für das Training Ihrer Modelle in der Cloud. Auf dieser Seite erfahren Sie, wie Sie ein XGBoost-Modell mit AI Platform Training trainieren.
In dieser Anleitung wird ein einfaches Modell zur Vorhersage des Einkommensniveaus einer Person basierend auf dem Census Income Data Set (Dataset zur Einkommenserhebung) trainiert. Sie erstellen lokal eine Trainingsanwendung, laden diese in Cloud Storage hoch und senden einen Trainingsjob. Der Trainingsdienst von AI Platform Training schreibt dann die Ausgabe in Ihren Cloud Storage-Bucket und erstellt Logs in Logging.
Dieser Inhalt ist auch auf GitHub als Jupyter Notebook verfügbar.
Modell in AI Platform Training trainieren
So trainieren Sie Ihr Modell in AI Platform Training in drei Schritten:
- Python-Modelldatei erstellen
- Sie fügen Code zum Herunterladen Ihrer Daten aus Cloud Storage hinzu, damit AI Platform Training sie verwenden kann.
- Sie fügen Code hinzu, um das Modell nach Cloud Storage zu exportieren und dort zu speichern, wenn das Training in AI Platform Training beendet ist.
- Trainingsanwendungspaket vorbereiten
- Trainingsjob senden
Vorbereitung
Führen Sie die folgenden Schritte aus, um ein GCP-Konto einzurichten, die AI Platform Training API zu aktivieren und das Cloud SDK zu installieren und zu aktivieren.
GCP-Projekt einrichten
- Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
-
Enable the AI Platform Training & Prediction and Compute Engine APIs.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
-
Enable the AI Platform Training & Prediction and Compute Engine APIs.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
Umgebung einrichten
Wählen Sie eine der folgenden Optionen aus, um Ihre Umgebung entweder lokal auf macOS oder in einer Remote-Umgebung in Cloud Shell einzurichten.
Nutzern von macOS wird empfohlen, ihre Umgebung mit dem folgenden MACOS-Tab einzurichten. Cloud Shell ist unter macOS, Linux und Windows verfügbar. Die entsprechende Anleitung finden Sie auf dem Tab CLOUD SHELL. Cloud Shell bietet eine schnelle Möglichkeit für den Test von AI Platform Training, eignet sich jedoch nicht für fortlaufende Entwicklungsarbeiten.
macOS
-
Python-Installation prüfen.
Prüfen Sie, ob Python installiert ist, und installieren Sie es gegebenenfalls.python -V
-
pip
-Installation prüfen.
pip
ist der Paketmanager von Python, der in aktuellen Versionen von Python enthalten ist. Prüfen Sie, ob Siepip
bereits installiert haben. Dazu führen Siepip --version
aus. Ist das nicht der Fall, lesen Sie die Anleitung zum Installieren vonpip
.Mit diesem Befehl können Sie ein Upgrade von
pip
ausführen:pip install -U pip
Weitere Informationen finden Sie in der Dokumentation zu pip.
-
virtualenv
installieren
virtualenv
ist ein Tool, mit dem sich isolierte Python-Umgebungen erstellen lassen. Prüfen Sie, ob Sievirtualenv
bereits installiert haben. Dazu führen Sievirtualenv --version
aus. Falls nicht, installieren Sievirtualenv
:pip install --user --upgrade virtualenv
Zur Einrichtung einer isolierten Entwicklungsumgebung für diese Anleitung erstellen Sie in
virtualenv
eine neue virtuelle Umgebung. Mit dem folgenden Befehl wird beispielsweise eine Umgebung mit dem Namenaip-env
aktiviert:virtualenv aip-env source aip-env/bin/activate
-
Führen Sie für diese Anleitung die übrigen Befehle in Ihrer virtuellen Umgebung aus.
Hier finden Sie weitere Informationen zur Verwendung vonvirtualenv
. Zum Beenden vonvirtualenv
führen Siedeactivate
aus.
Cloud Shell
-
Öffnen Sie die Google Cloud Console.
-
Klicken Sie oben auf Cloud Shell aktivieren.
In einem neuen Frame im unteren Teil der Console wird eine Cloud Shell-Sitzung geöffnet und darin eine Eingabeaufforderung angezeigt. Die Initialisierung der Shell-Sitzung kann einige Sekunden dauern.
Die Cloud Shell-Sitzung kann jetzt verwendet werden.
-
Für die Verwendung Ihres ausgewählten Projekts konfigurieren Sie das
gcloud
-Befehlszeilentool.gcloud config set project [selected-project-id]
Dabei ist
[selected-project-id]
Ihre Projekt-ID. Diese geben Sie ohne die Klammern ein.
Frameworks installieren
macOS
Führen Sie in Ihrer virtuellen Umgebung den folgenden Befehl aus, um die Installation durchzuführen. die in AI Platform Training verwendeten Versionen von scikit-learn, XGBoost und pandas Laufzeitversion 2,11:
(aip-env)$ pip install scikit-learn==1.0.2 xgboost==1.6.2 pandas==1.3.5
Durch die Angabe von Versionsnummern im vorherigen Befehl sorgen Sie dafür, dass die Abhängigkeiten in Ihrer virtuellen Umgebung mit den Abhängigkeiten in der Laufzeitversion übereinstimmen. Dies verhindert unerwartetes Verhalten, wenn Ihr Code in AI Platform Training ausgeführt wird.
Weitere Informationen, Hinweise zu weiteren Installationsoptionen und Informationen zur Fehlerbehebung finden Sie in den Installationsanleitungen für die einzelnen Frameworks:
Cloud Shell
Führen Sie den folgenden Befehl aus, um scikit-learn, XGBoost und pandas zu installieren:
pip install --user scikit-learn xgboost pandas
Weitere Informationen, Hinweise zu weiteren Installationsoptionen und Informationen zur Fehlerbehebung finden Sie in den Installationsanleitungen für die einzelnen Frameworks:
Cloud Storage-Bucket einrichten
Sie benötigen einen Cloud Storage-Bucket, um Trainingscode und Abhängigkeiten zu speichern. Für diese Anleitung ist es am einfachsten, wenn Sie einen dedizierten Cloud Storage-Bucket im selben Projekt wie AI Platform Training verwenden.
Wenn Sie einen Bucket in einem anderen Projekt verwenden, müssen Sie dafür sorgen, dass Ihr AI Platform Training-Dienstkonto auf Ihren Trainingscode und Ihre Abhängigkeiten in Cloud Storage zugreifen kann. Ohne die entsprechenden Berechtigungen wird der Trainingsjob nicht ordnungsgemäß ausgeführt. Hier erfahren Sie, wie Sie Berechtigungen für den Speicher erteilen.
Achten Sie darauf, dass Sie einen Bucket in der Region verwenden oder einrichten, in der Sie auch die Trainingsjobs ausführen. Hier finden Sie die Regionen, in denen AI Training Platform-Dienste verfügbar sind.
In diesem Abschnitt erfahren Sie, wie Sie einen neuen Bucket erstellen. Sie können auch einen vorhandenen Bucket verwenden. Dieser muss sich aber in der Region befinden, in der Sie AI Platform-Jobs ausführen. Hinzu kommt: Wenn der Bucket nicht in dem Projekt ist, das Sie für die Ausführung von AI Platform Training verwenden, müssen Sie den AI Platform Training-Dienstkonten explizit Zugriff gewähren.
-
Geben Sie einen Namen für den neuen Bucket an. Der Name muss sich von allen anderen Bucket-Namen in Cloud Storage unterscheiden:
BUCKET_NAME="YOUR_BUCKET_NAME"
Beispielsweise verwenden Sie den Projektnamen mit angehängtem
-aiplatform
:PROJECT_ID=$(gcloud config list project --format "value(core.project)") BUCKET_NAME=${PROJECT_ID}-aiplatform
-
Prüfen Sie den erstellten Bucketnamen.
echo $BUCKET_NAME
-
Wählen Sie eine Region für den Bucket aus und legen Sie eine Umgebungsvariable
REGION
fest.Verwenden Sie die Region, in der Sie auch AI Platform Training-Jobs ausführen möchten. Hier finden Sie die Regionen, in denen AI Platform Training-Dienste verfügbar sind.
Mit dem folgenden Code wird beispielsweise
REGION
erstellt und dafürus-central1
festgelegt:REGION=us-central1
-
Erstellen Sie den neuen Bucket:
gcloud storage buckets create gs://$BUCKET_NAME --location=$REGION
Über die Daten
Census Income Data Set (Dataset zur Einkommenserhebung) die in diesem Beispiel für das Training verwendet werden, vom UC Irvine Machine Learning Repository.
Erhebungsdaten mit freundlicher Genehmigung von: Lichman, M. (2013). UCI Machine Learning Repository http://archive.ics.uci.edu/ml. Irvine, CA: University of California, School of Information and Computer Science. Dieses Dataset ist öffentlich verfügbar und kann von jedem gemäß der die folgenden, von der Dataset-Quelle bereitgestellten Begriffe: http://archive.ics.uci.edu/ml – und wird „WIE BESEHEN“ bereitgestellt ohne ausdrückliche oder stillschweigende Garantie von Google. Google lehnt jegliche Haftung für direkte oder indirekte Schäden ab, die aus der Nutzung des Datasets resultieren.
Wir haben die Daten der Einfachheit halber in einem öffentlichen Cloud Storage-Bucket gehostet: gs://cloud-samples-data/ai-platform/sklearn/census_data/
. Sie können diesen in Ihrer Python-Trainingsdatei herunterladen.
Python-Modelldatei erstellen
Sie finden den gesamten Trainingscode für diesen Abschnitt auf GitHub: train.py
.
Im Rest dieses Abschnitts wird erläutert, wozu der Trainingscode dient.
Einrichtung
Importieren Sie die folgenden Bibliotheken aus Python, Google Cloud CLI, XGBoost und scikit-learn. Legen Sie eine Variable für den Namen Ihres Cloud Storage-Buckets fest.
import xgboost as xgb
import pandas as pd
from sklearn.preprocessing import LabelEncoder
import subprocess
from google.cloud import storage
# Fill in your Cloud Storage bucket name
BUCKET_ID = <YOUR_BUCKET_NAME>
Daten von Cloud Storage herunterladen
Im Rahmen eines typischen Entwicklungsprozesses laden Sie Ihre Daten in Cloud Storage hoch, damit AI Platform Training darauf zugreifen kann. Die Daten für diese Anleitung werden in einem öffentlichen Bucket gehostet: gs://cloud-samples-data/ai-platform/sklearn/census_data/
Mit dem nachfolgenden Code laden Sie das Trainings-Dataset adult.data
herunter. (Bewertungsdaten sind in adult.test
verfügbar, werden aber in dieser Anleitung nicht verwendet.)
Modellcode hinzufügen
Der Trainingscode für das Modell dient zum Ausführen grundlegender Schritte:
- Daten definieren und laden
- Kategoriale Merkmale in numerische Merkmale umwandeln
- Numerische Merkmale in einer scikit-learn-Pipeline extrahieren
- Modell in Cloud Storage exportieren und speichern
Daten definieren und laden
Kategoriale Merkmale in numerische Merkmale umwandeln
Modell trainieren und in Cloud Storage exportieren und speichern
Wenn sich der Cloud Storage-Bucket in dem Projekt befindet, das Sie für AI Platform Training verwenden, hat AI Platform Training automatisch Lese- und Schreibzugriff darauf. Wenn nicht, ist es wichtig, dass das für die Ausführung von AI Platform Training verwendete Projekt auf den Cloud Storage-Bucket zugreifen kann. Informationen zum Erteilen von Berechtigungen für den Speicher finden Sie unter Mit Cloud Storage arbeiten.
Sie müssen der Modelldatei den Namen model.pkl
, model.joblib
oder model.bst
geben, wenn Sie sie zum Anfordern von Onlinevorhersagen mit AI Platform Prediction verwenden möchten.
Upload der Modelldatei in Cloud Storage prüfen (optional)
Prüfen Sie in der Befehlszeile anhand des Inhalts des Zielordners für das Modell, ob die Modelldatei in Cloud Storage hochgeladen wurde. Geben Sie für den Bucket-Namen die Umgebungsvariable BUCKET_ID
an, falls Sie dies nicht bereits getan haben.
gcloud storage ls gs://$BUCKET_ID/census_*
Die Ausgabe sollte in etwa so aussehen:
gs://[YOUR-PROJECT-ID]/census_[DATE]_[TIME]/model.bst
Trainingsanwendungspaket erstellen
Die einfachste (und empfohlene) Methode zum Erstellen eines Trainingsanwendungspakets besteht darin, die Anwendung mit gcloud
zu verpacken und hochzuladen, wenn Sie den Trainingsjob senden. Bei dieser Methode erstellen Sie eine sehr einfache Dateistruktur mit zwei Dateien. Für den Zweck dieser Anleitung sollte Ihr Trainingsanwendungspaket in etwa so aussehen:
census_training/
__init__.py
train.py
Erstellen Sie ein lokales Verzeichnis:
mkdir census_training
Erstellen Sie eine leere Datei mit dem Namen
__init__.py
:touch census_training/__init__.py
Speichern Sie den Trainingscode in einer Python-Datei, die Sie wiederum im Verzeichnis
census_training
speichern. Rufen Sie den Beispielcode fürtrain.py
auf. Sie können die Datei mitcURL
herunterladen und speichern:curl https://raw.githubusercontent.com/GoogleCloudPlatform/cloudml-samples/master/xgboost/notebooks/census_training/train.py > census_training/train.py
Weitere Informationen zum Verpacken einer Trainingsanwendung
Trainingsjob senden
In diesem Abschnitt senden Sie den Trainingsjob mit gcloud ai-platform jobs submit training
.
Parameter für Trainingsjob festlegen
Legen Sie für jeden Parameter in Ihrer Trainingsjobanfrage die folgenden Umgebungsvariablen fest:
PROJECT_ID
: die PROJECT_ID, die Ihrem Google Cloud-Projekt entspricht.BUCKET_ID
: der Name Ihres Cloud Storage-Buckets.JOB_NAME
: Der für den Job zu verwendende, mit einem Buchstaben beginnende Name, bestehend aus Groß- und Kleinbuchstaben, Ziffern und Unterstrichen. In diesem Fall:census_training_$(date +"%Y%m%d_%H%M%S")
JOB_DIR
: Der Pfad zu einem Cloud Storage-Speicherort, der für die Ausgabedateien des Trainingsjobs verwendet werden soll. Beispiel:gs://$BUCKET_ID/xgboost_job_dir
TRAINING_PACKAGE_PATH
: Der lokale Pfad zum Stammverzeichnis der Trainingsanwendung. In diesem Fall:./census_training/
.MAIN_TRAINER_MODULE
: Die Datei, die der Trainingsdienst von AI Platform Training ausführen soll. Das Format sieht so aus:[YOUR_FOLDER_NAME.YOUR_PYTHON_FILE_NAME]
. In diesem Fall:census_training.train
.REGION
: Der Name der Region, in der Sie den Trainingsjob ausführen. Verwenden Sie dafür eine der verfügbaren Regionen für den Trainingsdienst von AI Platform Training. Achten Sie darauf, dass sich der Cloud Storage-Bucket in derselben Region befindet. In dieser Anleitung wirdus-central1
verwendet.RUNTIME_VERSION
: Sie müssen eine AI Platform Training-Laufzeitversion angeben, die scikit-learn unterstützt, in diesem Beispiel2.11
.PYTHON_VERSION
: Die für den Job zu verwendende Python-Version; Geben Sie für diese Anleitung Python 3.7 an.SCALE_TIER
: Eine vordefinierte Clusterspezifikation für Rechner, auf denen der Trainingsjob ausgeführt werden soll. In diesem FallBASIC
. Sie können mit benutzerdefinierten Skalierungsstufen auch eine eigene Clusterkonfiguration für das Training definieren.
Die Umgebungsvariablen für diese Anleitung sind unten aufgeführt.
Ersetzen Sie [VALUES-IN-BRACKETS]
dabei durch die entsprechenden Werte:
PROJECT_ID=[YOUR-PROJECT-ID]
BUCKET_ID=[YOUR-BUCKET-ID]
JOB_NAME=census_training_$(date +"%Y%m%d_%H%M%S")
JOB_DIR=gs://$BUCKET_ID/xgboost_job_dir
TRAINING_PACKAGE_PATH="[YOUR-LOCAL-PATH-TO-TRAINING-PACKAGE]/census_training/"
MAIN_TRAINER_MODULE=census_training.train
REGION=us-central1
RUNTIME_VERSION=2.11
PYTHON_VERSION=3.7
SCALE_TIER=BASIC
Senden Sie die Anfrage:
gcloud ai-platform jobs submit training $JOB_NAME \
--job-dir $JOB_DIR \
--package-path $TRAINING_PACKAGE_PATH \
--module-name $MAIN_TRAINER_MODULE \
--region $REGION \
--runtime-version=$RUNTIME_VERSION \
--python-version=$PYTHON_VERSION \
--scale-tier $SCALE_TIER
Die Ausgabe sollte in etwa so aussehen:
Job [census_training_[DATE]_[TIME]] submitted successfully. Your job is still active. You may view the status of your job with the command $ gcloud ai-platform jobs describe census_training_20180718_160825 or continue streaming the logs with the command $ gcloud ai-platform jobs stream-logs census_training_[DATE]_[TIME] jobId: census_training_[DATE]_[TIME] state: QUEUED
Trainingslogs ansehen (optional)
AI Platform Training erfasst alle Streams und Logberichte von stdout
und stderr
. Diese Logs werden in Stackdriver Logging gespeichert und sind sowohl während als auch nach der Ausführung sichtbar.
So zeigen Sie die Logs für Ihren Trainingsjob an:
Console
Rufen Sie die AI Platform Training-Seite Jobs auf.
Wählen Sie den Namen des zu prüfenden Trainingsjobs aus. Dadurch gelangen Sie zur Seite Jobdetails für den ausgewählten Trainingsjob.
Klicken Sie in den Jobdetails auf den Link Logs ansehen. Sie werden zur Logging-Seite weitergeleitet, auf der Sie Logs für den ausgewählten Trainingsjob suchen und filtern können.
gcloud
Mit gcloud ai-platform jobs stream-logs
können Sie Logs in Ihrem Terminal aufrufen:
gcloud ai-platform jobs stream-logs $JOB_NAME
Nächste Schritte
- Onlinevorhersagen mit XGBoost in AI Platform Training abrufen
- Benutzerdefinierte Skalierungsstufen verwenden, um eine eigene Clusterkonfiguration für das Training zu definieren