Training von HuggingFace GPT2 in Cloud TPU (TF 2.x)

---

Wenn Sie mit Cloud TPU nicht vertraut sind, sollten Sie sich die Kurzanleitung ansehen, um zu erfahren, wie Sie eine TPU-VM erstellen.

In dieser Anleitung erfahren Sie, wie Sie das HuggingFace GPT2-Modell in Cloud TPU trainieren.

Achtung: In dieser Anleitung wird das Dataset eines Drittanbieters verwendet. Google gibt keine Zusicherungen, Gewährleistungen oder Garantien hinsichtlich der Gültigkeit oder anderer Aspekte dieses Datasets.

Lernziele

• Cloud TPU erstellen
• Abhängigkeiten installieren
• Trainingsjob ausführen

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

• Compute Engine
• Cloud TPU

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Neuen Google Cloud-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Hinweise

Bevor Sie mit dieser Anleitung beginnen, prüfen Sie, ob Ihr Google Cloud-Projekt ordnungsgemäß eingerichtet ist.

1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

   Zur Projektauswahl

3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

4. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Hinweis: Wenn Sie die Ressourcen, die Sie in diesem Verfahren erstellen, nicht behalten möchten, erstellen Sie ein Projekt, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

   Zur Projektauswahl

5. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

In dieser Anleitung werden kostenpflichtige Komponenten der Google Cloud verwendet. Rufen Sie die Seite mit den Cloud TPU-Preisen auf, um Ihre Kosten abzuschätzen. Denken Sie daran, nicht mehr benötigte Ressourcen zu bereinigen, um unnötige Kosten zu vermeiden.

Wichtig: Richten Sie alle Ressourcen (Cloud TPU-VM und Cloud Storage-Bucket) in derselben Region/Zone ein, um die Netzwerklatenz und Netzwerkkosten zu reduzieren. TPU-VMs befinden sich in bestimmten Zonen, also Untergruppen innerhalb einer Region.

HuggingFace GPT 2 mit Cloud TPUs trainieren

1. Öffnen Sie ein Cloud Shell-Fenster.

   Cloud Shell öffnen

2. Erstellen Sie eine Umgebungsvariable für Ihre Projekt-ID:

   export PROJECT_ID=project-id
   

3. Konfigurieren Sie die Google Cloud CLI für die Verwendung des Google Cloud-Projekts, in dem Sie eine Cloud TPU erstellen möchten.

   gcloud config set project ${PROJECT_ID}
   

   Wenn Sie diesen Befehl zum ersten Mal in einer neuen Cloud Shell-VM ausführen, wird die Seite Authorize Cloud Shell angezeigt. Klicken Sie unten auf der Seite auf Authorize, damit gcloud mit Ihren Anmeldedaten Google Cloud API-Aufrufe ausführen kann.

4. Erstellen Sie ein Dienstkonto für das Cloud TPU-Projekt.

   Über Dienstkonten kann der Cloud TPU-Dienst auf andere Google Cloud-Dienste zugreifen.

   $ gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
   

   Der Befehl gibt ein Cloud TPU-Dienstkonto im folgenden Format zurück:

   [e-mail]
   

Cloud TPU erstellen

1. Erstellen Sie mit dem Befehl gcloud eine Cloud TPU-VM. Mit dem folgenden Befehl wird eine v4-8-TPU erstellt. Sie können auch ein TPU Podlice erstellen, indem Sie das Flag --accelerator-type auf einen Podlice-Typ setzen, z. B. v4-32.

   $ gcloud compute tpus tpu-vm create hf-gpt2 \
     --zone=us-central2-b \
     --accelerator-type=v4-8 \
     --version=tpu-vm-tf-2.13.0
   

   Beschreibung der Befehls-Flags

   zone

   Die Zone, in der Sie die Cloud TPU erstellen möchten.

   accelerator-type

   Der Typ der zu erstellenden Cloud TPU.

   version

   Die Cloud TPU-Softwareversion.

   Hinweis: Wenn Sie mehr als ein Google Cloud-Projekt haben, müssen Sie mit dem Flag --project die ID der Google Cloud angeben, in der Sie die Cloud TPU erstellen möchten.

2. Stellen Sie mit dem folgenden ssh-Befehl eine Verbindung zur Cloud TPU-VM her.

   gcloud compute tpus tpu-vm ssh hf-gpt2 --zone=us-central2-b
   

   Hinweis: Wenn Sie mit der Cloud TPU-VM verbunden sind, ändert sich die Shell-Eingabeaufforderung von username@projectname zu username@vm-name:
   Wichtig: Von nun an bedeutet das Präfix (vm) $, dass Sie den Befehl auf der Compute Engine-VM-Instanz ausführen sollten.

Abhängigkeiten installieren

1. Klonen Sie das Repository „HugingFace Transformers“:

   (vm)$ git clone https://github.com/huggingface/transformers.git
   (vm)$ cd transformers
   

2. Installieren Sie die Abhängigkeiten:

   (vm)$ pip install .
   (vm)$ pip install -r examples/tensorflow/_tests_requirements.txt
   (vm)$ cd examples/tensorflow/language-modeling
   (vm)$ pip install -r requirements.txt
   

3. Temporäres Verzeichnis erstellen:

   (vm)$ mkdir /tmp/gpt2-wikitext
   

Trainingsskript ausführen

(vm)$ python3 run_clm.py \
  --model_name_or_path distilgpt2 \
  --max_train_samples 1000 \
  --max_eval_samples 100 \
  --num_train_epochs 1 \
  --output_dir /tmp/gpt2-wikitext \
  --dataset_name wikitext \
  --dataset_config_name wikitext-103-raw-v1

Beschreibung der Befehls-Flags

model_name_or_path

Der Name des zu trainierenden Modells.

max_train_samples

Die maximale Anzahl von Stichproben, die für das Training verwendet werden sollen.

max_eval_samples

Die maximale Anzahl von Stichproben, die für die Bewertung verwendet werden sollen.

num_train_epochs

Die Anzahl der Epochen zum Trainieren des Modells.

output_dir

Das Ausgabeverzeichnis für das Trainingsskript.

dataset_name

Der Name des zu verwendenden Datasets.

dataset_config_name

Der Name der Dataset-Konfiguration

Nach Abschluss des Trainings wird eine Meldung wie diese angezeigt:

  125/125 [============================] - ETA: 0s - loss: 3.61762023-07-07 21:38:17.902850: W tensorflow/core/framework/dataset.cc:956] Input of GeneratorDatasetOp::Dataset will not be optimized because the dataset does not implement the AsGraphDefInternal() method needed to apply optimizations.
  125/125 [============================] - 763s 6s/step - loss: 3.6176 - val_loss: 3.4233
  Configuration saved in /tmp/gpt2-wikitext/config.json
  Configuration saved in /tmp/gpt2-wikitext/generation_config.json
  Model weights saved in /tmp/gpt2-wikitext/tf_model.h5
  D0707 21:38:45.640973681   12027 init.cc:191]                          grpc_shutdown starts clean-up now
  

Bereinigen

1. Trennen Sie die Verbindung zur TPU-VM-Instanz:

   (vm)$ exit
   

   Die Eingabeaufforderung sollte nun username@projectname lauten und angeben, dass Sie sich in Cloud Shell befinden.

2. Löschen Sie die TPU-Ressource.

   $ gcloud compute tpus tpu-vm delete hf-gpt2 \
   --zone=us-central2-b
   

Nächste Schritte

Verwenden Sie eines der unterstützten Referenzmodelle.