HuggingFace GPT2 auf Cloud TPU trainieren (TF 2.x)

---

Wenn Sie nicht mit Cloud TPU vertraut sind, sollten Sie sich die Kurzanleitung durchlesen, um zu erfahren, wie Sie eine TPU-VM erstellen.

In dieser Anleitung erfahren Sie, wie Sie das HuggingFace GPT2-Modell in Cloud TPU trainieren.

Achtung: In dieser Anleitung wird das Dataset eines Drittanbieters verwendet. Google gibt keine Zusicherungen, Gewährleistungen oder Garantien hinsichtlich der Gültigkeit oder anderer Aspekte dieses Datasets.

Lernziele

• Cloud TPU erstellen
• Abhängigkeiten installieren
• Trainingsjob ausführen

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

• Compute Engine
• Cloud TPU

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Neuen Google Cloud-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Hinweise

Bevor Sie mit dieser Anleitung beginnen, prüfen Sie, ob Ihr Google Cloud-Projekt ordnungsgemäß eingerichtet ist.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

In dieser Anleitung werden kostenpflichtige Komponenten der Google Cloud verwendet. Rufen Sie die Seite mit den Cloud TPU-Preisen auf, um Ihre Kosten abzuschätzen. Denken Sie daran, nicht mehr benötigte Ressourcen zu bereinigen, um unnötige Kosten zu vermeiden.

Wichtig: Alle Ressourcen einrichten (Cloud TPU-VM) und Cloud Storage-Bucket) in derselben Region/Zone, um das Netzwerk Latenz und Netzwerkkosten. TPU-VMs befinden sich in bestimmten Zonen, die Untergruppen innerhalb einer Region sind.

HuggingFace GPT2 mit Cloud TPUs trainieren

1. Öffnen Sie ein Cloud Shell-Fenster.

   Cloud Shell öffnen

2. Erstellen Sie eine Umgebungsvariable für Ihre Projekt-ID.

   export PROJECT_ID=your-project-id

3. Google Cloud CLI für die Verwendung des Google Cloud-Projekts konfigurieren wo Sie eine Cloud TPU erstellen möchten.

   gcloud config set project ${PROJECT_ID}

   Wenn Sie diesen Befehl zum ersten Mal in einer neuen Cloud Shell-VM ausführen, wird die Seite Authorize Cloud Shell angezeigt. Klicken Sie im MenüAuthorize unten auf der Seite, damit gcloud Google Cloud API-Aufrufe mit Ihre Google Cloud-Anmeldedaten.

4. Erstellen Sie ein Dienstkonto für das Cloud TPU-Projekt.

   Dienstkonten ermöglichen dem Cloud TPU-Dienst, auf andere Google Cloud-Dienste zuzugreifen.

   $ gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID

   Der Befehl gibt ein Cloud TPU-Dienstkonto im folgenden Format zurück:

   [e-mail]
   

Cloud TPU erstellen

1. Erstellen Sie mit dem Befehl gcloud eine Cloud TPU-VM. Mit dem folgenden Befehl wird eine v4-8-TPU erstellt. Sie können auch einen TPU-Pod-Speicherplatz erstellen, indem Sie das Flag --accelerator-type auf einen Pod-Speicherplatztyp festlegen, z. B. v4-32.

   $ gcloud compute tpus tpu-vm create hf-gpt2 \
     --zone=us-central2-b \
     --accelerator-type=v4-8 \
     --version=tpu-vm-tf-2.17.0-pjrt

   Beschreibung der Befehls-Flags

   zone

   Die Zone, in der Sie die Cloud TPU erstellen möchten.

   accelerator-type

   Mit dem Beschleunigertyp geben Sie die Version und Größe der Cloud TPU an, die Sie erstellen möchten. Weitere Informationen zu unterstützten Beschleunigertypen für jede TPU-Version finden Sie unter TPU-Versionen.

   version

   Die Cloud TPU-Softwareversion.

   Hinweis: Wenn Sie mehr als ein Google Cloud-Projekt haben, müssen Sie Das Flag --project, um die ID der Google Cloud anzugeben, in der Sie die Cloud TPU erstellen möchten.

2. Stellen Sie eine SSH-Verbindung zur TPU-VM her. Wenn Sie mit der VM verbunden sind, ändert sich die Shell-Eingabeaufforderung von username@projectname in username@vm-name:

   gcloud compute tpus tpu-vm ssh hf-gpt2 --zone=us-central2-b

   Wichtiger Hinweis: Ab diesem Zeitpunkt bedeutet das Präfix (vm) $, dass Sie Führen Sie den Befehl auf der Compute Engine-VM-Instanz aus.

Abhängigkeiten installieren

1. Klonen Sie das HuggingFace Transformers-Repository:

   (vm)$ cd /tmp
   (vm)$ git clone https://github.com/huggingface/transformers.git
   (vm)$ cd transformers

2. Installieren Sie die Abhängigkeiten:

   (vm)$ pip install .
   (vm)$ pip install -r examples/tensorflow/_tests_requirements.txt
   (vm)$ cd /tmp/transformers/examples/tensorflow/language-modeling
   (vm)$ pip install -r requirements.txt

3. Temp-Verzeichnis erstellen:

   (vm)$ mkdir /tmp/gpt2-wikitext

4. Wenn Sie beim Erstellen der TPU den Parameter --version auf eine Version festlegen, die mit -pjrt, legen Sie die folgenden Umgebungsvariablen fest, um die PJRT-Laufzeit zu aktivieren:

     (vm)$ export NEXT_PLUGGABLE_DEVICE_USE_C_API=true
     (vm)$ export TF_PLUGGABLE_DEVICE_LIBRARY_PATH=/lib/libtpu.so

Trainingsskript ausführen

(vm)$ python3 run_clm.py \
  --model_name_or_path distilgpt2 \
  --max_train_samples 1000 \
  --max_eval_samples 100 \
  --num_train_epochs 1 \
  --output_dir /tmp/gpt2-wikitext \
  --dataset_name wikitext \
  --dataset_config_name wikitext-103-raw-v1

Beschreibung der Befehls-Flags

model_name_or_path

Der Name des zu trainierenden Modells.

max_train_samples

Die maximale Anzahl von Stichproben für das Training.

max_eval_samples

Die maximale Anzahl von Stichproben, die für die Bewertung verwendet werden sollen.

num_train_epochs

Die Anzahl der Epochen zum Trainieren des Modells.

output_dir

Das Ausgabeverzeichnis des Trainingsskripts.

dataset_name

Der Name des zu verwendenden Datasets.

dataset_config_name

Name der Dataset-Konfiguration

Nach Abschluss des Trainings wird eine Meldung wie diese angezeigt:

  125/125 [============================] - ETA: 0s - loss: 3.61762023-07-07 21:38:17.902850: W tensorflow/core/framework/dataset.cc:956] Input of GeneratorDatasetOp::Dataset will not be optimized because the dataset does not implement the AsGraphDefInternal() method needed to apply optimizations.
  125/125 [============================] - 763s 6s/step - loss: 3.6176 - val_loss: 3.4233
  Configuration saved in /tmp/gpt2-wikitext/config.json
  Configuration saved in /tmp/gpt2-wikitext/generation_config.json
  Model weights saved in /tmp/gpt2-wikitext/tf_model.h5
  D0707 21:38:45.640973681   12027 init.cc:191]                          grpc_shutdown starts clean-up now
  

Bereinigen

1. Trennen Sie die Verbindung zur TPU-VM-Instanz:

   (vm)$ exit

   Die Eingabeaufforderung sollte nun username@projectname lauten und angeben, dass Sie sich in Cloud Shell befinden.

2. Löschen Sie die TPU-Ressource.

   $ gcloud compute tpus tpu-vm delete hf-gpt2 \
   --zone=us-central2-b

Nächste Schritte

Versuchen Sie es mit einem der anderen unterstützten Referenzmodelle.