Verbindung mit Cloud Storage-Buckets herstellen

Auf dieser Seite wird Cloud Storage als eine Option zum Speichern Ihrer Daten für das maschinelle Lernen und von Trainingseingaben vorgestellt. Außerdem wird beschrieben, wie Sie Ihrer Cloud TPU Zugriff auf die Datenobjekte in Cloud Storage gewähren.

Hinweis

Sie benötigen ein Cloud TPU-Dienstkonto, um auf einen Cloud Storage-Bucket zugreifen zu können.

Hinweis: Wenn Sie für Ihr Projekt ein Dienstkonto eingerichtet haben, bleibt es gültig, solange das Projekt aktiv ist. Sie müssen also das Dienstkonto nicht jedes Mal neu einrichten, wenn Sie ein Training im selben Projekt ausführen.

1. Erstellen Sie ein Cloud TPU-Dienstkonto für Ihr Projekt.

   gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID

   Der Befehl gibt ein Cloud TPU-Dienstkonto im folgenden Format zurück:

   [e-mail]
   

   Wichtig: Mit diesem Befehl wird ein Dienst-Agent erstellt. Dies ist eine spezielle Art von Google-verwaltetem Dienstkonto, das in Ihrer Seite „Dienstkonten“ in der Google Cloud Console nicht aufgeführt ist.

2. Folgen Sie der Anleitung im Cloud TPU-Schnellstart oder im Dokument TPUs erstellen und löschen, um Ihr Google Cloud-Projekt zu konfigurieren und Ihr Cloud TPU-VM und TPU-Ressourcen zu erstellen.

Daten in Cloud Storage schreiben

Hinweis: Richten Sie einen Cloud Storage-Bucket am selben Speicherort (Zone) ein, den Sie zum Einrichten der Cloud TPU verwendet haben. Weitere Informationen zu sämtlichen Optionen, die zum Verwalten von Storage-Buckets verfügbar sind, finden Sie unter Buckets erstellen.

Console

1. Rufen Sie in der Google Cloud Console die Seite „Cloud Storage“ auf.

   Zur Cloud Storage-Seite

2. Erstellen Sie durch die Angabe der folgenden Optionen einen neuen Bucket:

   • Eindeutiger Name Ihrer Wahl
   • Standard-Speicherklasse: Standard
   • Standort: us-central1

Befehlszeile

1. Verwenden Sie den Befehl gcloud storage buckets create, um einen Cloud Storage-Bucket zu erstellen:

   gcloud storage buckets create gs://bucket-name --location region

   wobei

   • region ist die Region, in der Sie die Cloud TPU erstellt haben. Weitere Informationen zu Regionen und zur TPU-Verfügbarkeit finden Sie unter TPU-Regionen und ‑Zonen.

   • bucket-name ist der Name des Buckets, den Sie erstellen möchten.

2. Verwenden Sie den Befehl gcloud storage cp, um Dateien in den Cloud Storage-Bucket zu schreiben:

   gcloud storage cp -r local-data-dir gs://bucket-name

   Dabei ist local-data-dir ein lokaler Pfad zu Ihren Daten. Beispiel: $HOME/your-data

Cloud TPU Zugriff auf Cloud Storage gewähren

Ihre Cloud TPU benötigt Lese- und Schreibzugriff auf Ihre Cloud Storage-Objekte. Dazu müssen Sie den erforderlichen Zugriff auf das Cloud TPU-Dienstkonto gewähren, das von der Cloud TPU verwendet wird. Führen Sie die folgenden Schritte aus, um das Cloud TPU-Dienstkonto zu suchen und den erforderlichen Zugriff zu gewähren:

Cloud TPU-Dienstkonto autorisieren

Fein abgestimmte ACLs für Cloud TPU verwenden (empfohlen)

Wenn Sie Trainingsdaten in Cloud Storage speichern, benötigt das Cloud TPU-Dienstkonto Lese- und Schreibberechtigungen für den Bucket.

Console

1. Wechseln Sie zur Cloud Storage-Browserseite, um die Buckets anzuzeigen, deren Inhaber Sie sind.

   Zum Cloud Storage-Browser

2. Wählen Sie den Bucket aus, dessen ACL Sie ändern möchten.

3. Wählen Sie den Tab Permissions aus.

4. Wählen Sie Add aus, um eine neue Berechtigung und Typ hinzuzufügen, und geben Sie den vollständigen Dienstkontonamen in das Bearbeitungsfeld New Principals ein.

5. Wenn Sie Daten aus diesem Bucket lesen, müssen Sie das TPU-Dienstkonto zum Lesen von Daten aus der Ressource autorisieren. Gewähren Sie dem Dienstkonto dazu die Rolle Storage Legacy > Storage Legacy Bucket Reader.

6. Wenn Sie Daten in diesen Bucket schreiben, müssen Sie das TPU-Dienstkonto zum Schreiben von Daten in die Ressource autorisieren. Gewähren Sie dem Dienstkonto dazu die Rolle Storage Legacy > Storage Legacy Bucket Writer.

Befehlszeile

1. Wenn Sie aus diesem Bucket lesen, erteilen Sie Leseberechtigung für das Cloud TPU-Dienstkonto:

    gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectViewer
    

2. Wenn Sie Daten in diesen Bucket schreiben, müssen Sie dem Cloud TPU-Dienstkonto die Schreibberechtigung erteilen:

    gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectCreator

IAM-Berechtigungen für Cloud TPU verwenden (Alternative)

Wenn Sie umfassendere Berechtigungen als den Zugriff auf die weiße Liste für jeden Bucket gewähren möchten, können Sie dem Cloud TPU-Dienstkonto die Rolle des Identity Access Management (IAM) Storage-Administrators zuweisen.

1. IAM aufrufen

2. Klicken Sie auf die Schaltfläche Hinzufügen, um Hauptkonten zum Projekt hinzuzufügen.

3. Geben Sie die Namen des Cloud TPU-Dienstkontos in das Textfeld Hauptkonten ein.

4. Klicken Sie auf die Drop-down-Liste Rollen.

5. Aktivieren Sie die folgenden Rollen:

   • Projekt > Betrachter

   • Storage > Storage-Administrator

Cloud Storage FUSE

Mit Cloud Storage FUSE können Sie Cloud Storage-Buckets als lokale Dateisysteme bereitstellen und darauf zugreifen. So können Anwendungen Objekte in Ihrem Bucket mit der Standardsemantik des Dateisystems lesen und schreiben.

In der Cloud Storage FUSE-Dokumentation finden Sie weitere Informationen zur Funktionsweise von Cloud Storage FUSE und eine Beschreibung der Zuordnung von Cloud Storage FUSE-Vorgängen zu Cloud Storage-Vorgängen. Weitere Informationen zur Verwendung von Cloud Storage FUSE, z. B. zur Installation der gcsfuse-Befehlszeile und zum Bereitstellen von Buckets, finden Sie auf GitHub.

Nächste Schritte

• Weitere Informationen zum Erstellen von Cloud Storage-Buckets und zum Schreiben von Daten in diese Buckets finden Sie in der Cloud Storage-Dokumentation zum Erstellen von Buckets.
• Weitere Informationen zu Dienstkonten finden Sie in der Authentifizierungsübersicht.