Auf dieser Seite wird Cloud Storage als eine Option zum Speichern Ihrer Daten für das maschinelle Lernen vorgestellt. Außerdem wird beschrieben, wie Sie Ihrer Cloud TPU Zugriff auf die Datenobjekte in Cloud Storage gewähren.
Hinweis
Erstellen Sie ein Cloud TPU-Dienstkonto für Ihr Projekt.
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
Der Befehl gibt ein Cloud TPU-Dienstkonto im folgenden Format zurück:
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
Folgen Sie der Anleitung im Cloud TPU-Schnellstart oder im Dokument TPUs erstellen und löschen, um Ihr Google Cloud-Projekt zu konfigurieren, eine Compute Engine-VM zu erstellen und eine Cloud TPU-Ressource zu erstellen.
Daten in Cloud Storage schreiben
Console
Rufen Sie die Cloud Storage-Seite in der Cloud Console auf.
Erstellen Sie durch die Angabe der folgenden Optionen einen neuen Bucket:
- Eindeutiger Name Ihrer Wahl
- Standard-Speicherklasse:
Standard
- Speicherort:
us-central1
gsutil
Verwenden Sie den Befehl
gsutil mb
, um einen Cloud Storage-Bucket zu erstellen:gsutil mb -l region gs://bucket-name/
wobei
region ist die Region, in der Sie die Cloud TPU erstellt haben. Beispiel:
us-central1
Cloud TPU ist in den folgenden Regionen verfügbar:USA
Cloud TPU v2 und Preemptible v2 us-central1
Cloud TPU v3 und Preemptible v3 us-central1
Cloud TPU v2 Pod (Beta) us-central1
Europa
Cloud TPU v2 und Preemptible v2 europe-west4
Cloud TPU v3 und Preemptible v3 europe-west4
Cloud TPU v2 Pod (Beta) europe-west4
Cloud TPU v3 Pod (Beta) europe-west4
Asiatisch-pazifischer Raum
Cloud TPU v2 und Preemptible v2 asia-east1
bucket-name ist der Name des Buckets, den Sie erstellen möchten.
Verwenden Sie den Befehl
gsutil cp
, um Dateien in den Cloud Storage-Bucket zu schreiben:gsutil cp -r local-data-dir gs://bucket-name
Dabei ist local-data-dir ein lokaler Pfad zu Ihren Daten. Beispiel:
$HOME/your-data
Cloud TPU Zugriff auf Cloud Storage gewähren
Ihre Cloud TPU braucht Lese-/Schreibzugriff auf Ihre Cloud Storage-Objekte. Dazu müssen Sie den erforderlichen Zugriff auf das Cloud TPU-Dienstkonto gewähren, das von der Cloud TPU verwendet wird. Führen Sie die folgenden Schritte aus, um das Cloud TPU-Dienstkonto zu suchen und den erforderlichen Zugriff zu gewähren:
Cloud TPU-Dienstkonto autorisieren
Fein abgestimmte ACLs für Cloud TPU verwenden (empfohlen)
Wenn Sie Trainingsdaten in Cloud Storage speichern, benötigt das Cloud TPU-Dienstkonto Lese- und Schreibberechtigungen für den Bucket.
Console
Wechseln Sie zur Cloud Storage-Browserseite, um die Buckets anzuzeigen, deren Inhaber Sie sind.
Wechseln Sie zu dem Bucket, dessen ACL Sie ändern möchten.
Wählen Sie in diesem Bucket
Edit Bucket Permissions
aus.Wenn Sie Daten aus diesem Bucket lesen, müssen Sie das TPU-Dienstkonto zum Lesen von Daten aus der Ressource autorisieren. Gewähren Sie dem Dienstkonto dazu die Rolle
Storage Legacy > Storage Legacy Bucket Reader
.Wenn Sie Daten in diesen Bucket schreiben, müssen Sie das TPU-Dienstkonto zum Schreiben von Daten in die Ressource autorisieren. Gewähren Sie dem Dienstkonto dazu die Rolle
Storage Legacy > Storage Legacy Bucket Writer
.
gsutil
Wenn Sie aus diesem Bucket lesen, erteilen Sie Leseberechtigung für das Cloud TPU-Dienstkonto:
gsutil acl ch -u tpu-service-account:READER gs://bucket-name
Wenn Sie Daten in diesen Bucket schreiben, müssen Sie dem Cloud TPU-Dienstkonto die Schreibberechtigung erteilen:
gsutil acl ch -u tpu-service-account:WRITER gs://bucket-name
IAM-Berechtigungen für Cloud TPU verwenden (Alternative)
Wenn Sie umfassendere Berechtigungen als den Zugriff auf die weiße Liste für jeden Bucket gewähren möchten, können Sie dem Cloud TPU-Dienstkonto die Rolle der Identitäts- und Zugriffsverwaltung (IAM) Storage-Administrators zuweisen.
Rufen Sie die IAM-Seite für Ihr Projekt auf.
Klicken Sie auf die Schaltfläche +Hinzufügen, um dem Projekt Mitglieder hinzuzufügen.
Geben Sie die Namen des Cloud TPU-Dienstkontos in das Textfeld Mitglieder ein.
Klicken Sie auf die Drop-down-Liste Rollen.
Aktivieren Sie die folgenden Rollen:
Projekt > Betrachter
Storage > Storage-Administrator
Weitere Informationen
- Mehr über das Erstellen von Cloud Storage-Buckets und das Schreiben von Daten in diese Buckets in der Cloud Storage-Dokumentation lesen
- Weitere Informationen zu Dienstkonten finden Sie in der Authentifizierungsübersicht.