Große Datasets von Cloud Storage zu Filestore übertragen

Verwenden Sie Storage Transfer Service, um große Datasets von Cloud Storage in Filestore-Dateifreigaben zu verschieben.

Mit dem Storage Transfer Service können Sie große Datasets schnell und sicher zwischen Objekt- und Dateispeichersystemen übertragen, unabhängig davon, ob Ihre Daten in Cloud Storage, bei Cloud-Drittanbietern oder lokal gehostet werden.

Storage Transfer Service unterstützt die beschleunigte Übertragung großer Datasets, die Hunderte von TB an Daten oder mehr verarbeiten. Verschieben Sie große Datasets in die Cloud, um die Analyse- und ML-Vorgänge zu nutzen, die über die zugrunde liegenden Compute Engine-Instanzen verfügbar sind, auf denen Ihre Filestore-Instanzen bereitgestellt sind.

Mit Storage Transfer Service können Sie von Google verwaltete Übertragungen erstellen oder selbst gehostete Übertragungen konfigurieren, um vollständige Kontrolle über Netzwerkrouting und Bandbreitennutzung zu haben.

Hinweis: Verwenden Sie gsutil oder gcloud, um weniger als 1 TB Daten aus Cloud Storage-Buckets zu übertragen. Weitere Informationen finden Sie unter Daten aus einem Cloud Storage-Bucket in eine Filestore-Dateifreigabe kopieren oder Wann sollte Storage Transfer Service verwendet werden?.

Daten aus einem Cloud Storage-Bucket auf eine Filestore-Dateifreigabe übertragen

Zum Übertragen von Daten mit Storage Transfer Service von Cloud Storage auf eine Filestore-Dateifreigabe sind folgende Aufgaben erforderlich:

1. die Umgebung einrichten
2. Filestore konfigurieren.
3. Konfigurieren Sie den Storage Transfer Service.
4. Erstellen und initiieren Sie den Übertragungsjob.

In den folgenden Abschnitten werden Sie durch die einzelnen Aufgaben geführt.

Umgebung einrichten

1. Wählen oder erstellen Sie ein Projekt.

   Achten Sie für diese Anleitung darauf, dass sich Ihre Quell- und Zielressourcen im selben Projekt befinden.

   Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

   Wenn Sie Filestore testen und die erstellten Ressourcen nicht behalten möchten, sollten Sie ein Projekt erstellen, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie die Tests abgeschlossen haben, können Sie das Projekt löschen. Dadurch werden alle damit verknüpften Ressourcen entfernt.

   Zur Projektauswahl

2. Abrechnung aktivieren

   Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein. So prüfen Sie, ob die Abrechnung für Ihr Projekt aktiviert ist.

3. Aktivieren Sie die folgenden APIs:

   • Filestore API

   • Resource Manager API

   • Pub/Sub API

   • Cloud Storage API

   • Storage Transfer API

   • Cloud Logging API

   • Compute Engine API

   • Service Usage API

   • Identity and Access Management API

4. Optional: gcloud, eine Hauptkomponente des Google Cloud SDK, wird auf jeder Compute Engine-VM installiert. Wenn Sie einen der folgenden Schritte über Ihre lokale Befehlszeile ausführen, richten Sie das Google Cloud SDK ein.

   Installieren und initialisieren Sie das Google Cloud SDK.

   Wenn Sie das Google Cloud SDK bereits installiert haben, prüfen Sie mit dem folgenden Befehl, ob Sie die neueste verfügbare Version haben:

   gcloud components update
   

5. Erstelle ein Dienstkonto. Weisen Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt gewähren die folgenden Rollen zu:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Pub/Sub Editor

   • Cloud Filestore Editor

   • Storage Object Admin

   • Storage Transfer Admin

   • Storage Transfer Agent

   1. Kopieren und speichern Sie den Namen des Dienstkontos, das Sie für einen späteren Schritt erstellt haben.

   2. Erstellen Sie einen Dienstkontoschlüssel für das soeben erstellte Konto. Erstellen Sie für diese Anleitung nur einen Schlüssel. Laden Sie die Schlüsseldatei herunter und speichern Sie sie für einen späteren Schritt.

      Hinweis: Dienstkontoschlüssel stellen ein Sicherheitsrisiko dar, wenn sie nicht ordnungsgemäß verwaltet werden. Sie sollten nach Möglichkeit eine sicherere Alternative zu Dienstkontoschlüsseln auswählen. Wenn Sie sich mit einem Dienstkontoschlüssel authentifizieren müssen, sind Sie für die Sicherheit des privaten Schlüssels und für andere Vorgänge verantwortlich, die unter Best Practices für die Verwaltung von Dienstkontoschlüsseln beschrieben werden. Wenn Sie keinen Dienstkontoschlüssel erstellen können, ist das Erstellen von Dienstkontoschlüsseln für Ihre Organisation möglicherweise deaktiviert. Weitere Informationen finden Sie unter Standardmäßig sichere Organisationsressourcen verwalten.

6. Einem Nutzerkonto Rollen zuweisen Suchen Sie auf der Seite IAM nach Ihrem Nutzerkonto und weisen Sie ihm die folgenden Rollen zu:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Storage Transfer Admin

   • Storage Admin

   Weitere Informationen finden Sie unter Nutzerberechtigungen.

Filestore konfigurieren

1. Filestore-Instanz erstellen Wenden Sie beim Erstellen der Instanz die folgenden Spezifikationen an:

   1. Achten Sie darauf, dass sich der Cloud Storage-Bucket, die Client-VM und die Filestore-Instanz in derselben Region befinden.

   2. Wählen Sie einen regionalen oder einen Unternehmensinstanztyp aus.

   3. Optional: Fordern Sie für größere Datasets eine Kontingenterhöhung an.

   4. Kopieren Sie den Instanznamen und die IP-Adresse und speichern Sie sie für einen späteren Schritt.

2. Filestore-Instanz auf einem Clientcomputer bereitstellen

   In diesem Leitfaden wird eine Übertragung beschrieben, bei der vier Compute Engine-VMs als NFS-Clientmaschinen verwendet werden. Sie erstellen ein einziges Dienstkonto, das im Auftrag der vier Clientcomputer ausgeführt wird. Auf jedem Clientcomputer sind drei Storage Transfer Service-Agents installiert.

   Hinweis: Für eine beste Leistung sollten Nutzer in diesem Szenario nicht weniger als vier Compute Engine-VMs verwenden.

   1. Erstellen Sie eine Compute Engine-VM-Instanz mit Zugriff auf andere Google Cloud-Dienste.

      1. Konfigurieren Sie eine VM mit den folgenden Spezifikationen:

         1. Achten Sie beim Angeben eines Standorts darauf, dass sich der Google Cloud-Bucket, die Client-VM und die Filestore-Instanz in derselben Region befinden.

         2. Jeder Storage Transfer Service-Agent benötigt 4 vCPUs und 8 GB RAM. Führen Sie für eine optimale Leistung mehrere Agents pro VM aus. Stellen Sie für die Zwecke dieser Anleitung eine VM-Instanz von e2-standard-32 in Compute Engine bereit.

         3. Geben Sie im Abschnitt Identität und API-Zugriff Folgendes an:

            1. Wählen Sie im Drop-down-Menü Dienstkonten das soeben erstellte Dienstkonto aus.

   2. Nachdem die Compute Engine-VM-Instanz erstellt wurde, melden Sie sich mit SSH auf der Maschine an. Suchen Sie auf der Seite Compute Engine-VM-Instanz nach der von Ihnen erstellten Instanz und klicken Sie auf SSH.

   3. Erstellen Sie mit einem Texteditor wie Vim eine Kopie der Dienstkonto-Schlüsseldatei und speichern Sie sie vorübergehend lokal auf der VM. Beispiel: service-account-key.json

   4. Installieren Sie Docker auf der VM.

   5. gcloud ist bereits auf der Compute Engine-VM-Instanz installiert. Geben Sie in der SSH-Befehlszeile den folgenden Befehl ein, um das Dienstkonto für die Verwendung von gcloud zu autorisieren:

      gcloud auth activate-service-account ACCOUNT --key-file=KEY_FILE
      

      Dabei gilt:

      • ACCOUNT ist die E-Mail-Adresse des von Ihnen erstellten Dienstkontos. Beispiel: [e-mail]

      • KEY_FILE ist der relative lokale Pfad zur Schlüsseldatei, die Sie zuvor kopiert haben. Beispiel: sa-key.json.

   6. Installieren Sie NFS über die SSH-Befehlszeile:

      sudo apt-get -y update && sudo apt-get install nfs-common
      

   7. Erstellen Sie ein lokales Verzeichnis, das der Filestore-Dateifreigabe zugeordnet werden soll. Wenn Sie diese Schritte für nachfolgende Compute Engine-VM-Instanzen wiederholen, verwenden Sie denselben Namen und Pfad:

      sudo mkdir -p MY_DIRECTORY
      

      Dabei gilt:

      • MY_DIRECTORY ist der Name des lokalen POSIX-Verzeichnisses für die Compute Engine-VM-Instanz. Beispiel: /usr/local/my_dir.

   8. Stellen Sie mit dem Befehl mount die Dateifreigabe bereit, die mit der Filestore-Instanz verknüpft ist. Sie können alle NFS-Bereitstellungsoptionen verwenden. Die beste Leistung erzielen Sie in den Empfehlungen zu NFS-Bereitstellungen unter Dateifreigabe auf einer Compute Engine-VM-Instanz bereitstellen:

      sudo mount -o rw,intr IP_ADDRESS:/FILE_SHARE MY_DIRECTORY
      

      Dabei gilt:

      • IP_ADDRESS die IP-Adresse für die Filestore-Instanz ist. Sie finden diese auf der Seite Filestore-Instanzen.

      • FILE_SHARE ist der Name der Dateifreigabe für die Instanz. Beispiel: my_fs_instance.

      • MY_DIRECTORY ist der Name des Verzeichnisses, das Sie im vorherigen Schritt zugeordnet haben. Dies ist ein Verzeichnis auf der Compute Engine-VM-Instanz, in dem Sie die Filestore-Instanz bereitstellen möchten.

   9. Bestätigen Sie den Bereitstellungspunkt:

      mount -l | grep nfs
      

      Dadurch wird Folgendes oder ähnlich zurückgegeben:

      10.66.55.194:/my_fs_instance on /home/usr/my_dir type nfs (rw,relatime,vers=3,rsize=262144,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.66.55.194,mountvers=3,mountport=2050,mountproto=udp,local_lock=none,addr=10.66.55.194)
      

      Alternativ können Sie auch den folgenden Befehl verwenden:

      df -h --type=nfs
      

      Dadurch wird Folgendes oder ähnlich zurückgegeben:

      Filesystem                       Size  Used Avail Use% Mounted on
      10.66.55.194:/my_fs_instance  1.0T     0  1.0T   0% /home/usr/my_dir
      

   10. Notieren Sie sich den Pfad des lokalen POSIX-Verzeichnisses und speichern Sie es für einen späteren Schritt.

   11. Wiederholen Sie die vorherigen Schritte, um drei weitere Compute Engine-VM-Instanzen zu erstellen und auf jeder dieselbe Filestore-Instanz bereitzustellen. Verwenden Sie für die Verwaltung aller vier Compute Engine-VMs dasselbe Dienstkonto. Speichern Sie auf jeder VM vorübergehend eine lokale Kopie des Dienstkontoschlüssels.

Storage Transfer Service konfigurieren

1. Agent-Pool erstellen

2. Autorisieren Sie den Dienst-Agent für alle Storage Transfer Service-Features.

   1. Geben Sie den folgenden Befehl ein:

      gcloud transfer authorize --add-missing --creds-file=KEY_FILE
      

      Dabei gilt:

      • KEY_FILE ist der relative lokale Pfad zur Schlüsseldatei, die Sie zuvor kopiert haben. Beispiel: sa-key.json.

      Notieren Sie sich die zurückgegebene Benachrichtigung zum Dienst-Agent und speichern Sie die zugehörige E-Mail-Adresse für den nächsten Schritt.

   2. Nach einigen Minuten sollte der Dienst-Agent auf der Seite IAM angezeigt werden. Prüfen Sie nach der Übertragung, ob die folgenden Rollen zugewiesen sind:

      • Pub/Sub Editor

      • Storage Admin

      Hinweis: Das Übertragen von Berechtigungen dauert in der Regel einige Sekunden. In einigen Fällen kann es aber auch bis zu sieben Minuten dauern.

3. Installieren Sie Übertragungs-Agents.

   Jeder Storage Transfer Service-Agent erfordert 4 vCPUs und 8 GB RAM.

   Hinweis: Storage Transfer Service behält POSIX-Attribute und Symlinks während der Übertragung bei. Weitere Informationen finden Sie unter Beibehalten von Metadaten.

   1. Wir empfehlen, mehrere Agents zu installieren, um die Fehlertoleranz zu maximieren und die dynamische Skalierung des Storage Transfer Service zu nutzen. Das folgende Beispiel zeigt, wie drei Agents auf einem Clientcomputer installiert werden. Führen Sie in der SSH-Befehlszeile den folgenden Befehl aus:

      gcloud transfer agents install --pool=MY_AGENT_POOL --count=3 \
      --creds-file=MY_SERVICE_ACCOUNT_KEY_FILE
      

      Dabei gilt:

      • MY_AGENT_POOL ist der Name des zuvor erstellten Agent-Pools. Beispiel: my-agent-pool.

      • MY_SERVICE_ACCOUNT_KEY_FILE ist der relative Pfad zum Dienstkontoschlüssel. Beispiel: /relative/path/to/service-account-key.json

   2. Wiederholen Sie diese Schritte für jeden Clientcomputer.

Übertragungsjob erstellen und initiieren

1. Übertragungsjob zum Verschieben von Daten aus Ihrem Cloud Storage-Bucket in die Filestore-Instanz erstellen Geben Sie den Zielpfad im zuvor gespeicherten lokalen POSIX-Verzeichnis an. Beispiel: /home/usr/my_dir

Übertragungsstatus überwachen

Console

Überwachen Sie den Status der Übertragung auf der Seite Übertragungsjobs der Google Cloud Console.

Befehlszeile

Sie können den Status über die Befehlszeile beobachten:

gcloud transfer jobs monitor JOB_NAME

Dabei gilt:

• JOB_NAME ist der Name des Übertragungsjobs. Beispiel: transferJobs/OPI6300379522015192941

Die Antwort zeigt Folgendes oder ähnlich:

Polling for latest operation name...done.
Operation name: my-sts-project_transferJobs/OPI6300379522015192941_0000000001660692377
Parent job: OPI6300379522015192941
Start time: 2022-08-16T23:26:17.600981Z
SUCCESS | 100% (731.9MiB of 731.9MiB) | Skipped: 129.8kiB | Errors: 0
End time: 2022-08-16T23:27:23.429472Z

Weitere Informationen finden Sie unter Agent-Aktivität überwachen oder Details zur Dateisystemübertragung.

Nächste Schritte

• Leistung aller Google Cloud-Ressourcen verbessern
• Compute Engine-VM-Instanz mit Zugriff auf andere Google Cloud-Dienste erstellen