Große Datasets von Cloud Storage zu Filestore übertragen

Mit dem Storage Transfer Service können Sie große Datensätze von Cloud Storage zu Filestore-Dateifreigaben verschieben.

Ein Workflow, der zeigt, wie Daten mit Storage Transfer Service aus Cloud Storage in eine Filestore-Instanz verschoben werden. Die Filestore-Instanz ist auf mehrere Compute Engine-Instanzen bereitgestellt.

Mit dem Storage Transfer Service können Sie große Datensätze schnell und sicher zwischen Objekt- und Dateispeichersystemen übertragen, unabhängig davon, ob Ihre Daten in Cloud Storage, bei Cloud-Anbietern von Drittanbietern oder lokal gehostet werden.

Der Storage Transfer Service unterstützt beschleunigte Übertragungen großer Datensätze mit bis zu mehreren hundert Terabyte. Verschieben Sie Ihre großen Datensätze in die Cloud, um Analysen und maschinelles Lernen zu nutzen, die von den zugrunde liegenden Compute Engine-Instanzen zur Verfügung gestellt werden, auf denen Ihre Filestore-Instanzen bereitgestellt sind.

Mit dem Storage Transfer Service können Sie von Google verwaltete Übertragungen erstellen oder selbst gehostete Übertragungen konfigurieren, um die volle Kontrolle über das Netzwerk-Routing und die Bandbreitennutzung zu haben.

Daten aus einem Cloud Storage-Bucket in eine Filestore-Dateifreigabe übertragen

Für die Übertragung von Daten aus Cloud Storage in eine Filestore-Dateifreigabe mit Storage Transfer Service sind die folgenden Aufgaben erforderlich:

  1. die Umgebung einrichten
  2. Filestore konfigurieren
  3. Storage Transfer Service konfigurieren
  4. Erstellen und starten Sie den Übertragungsjob.

In den folgenden Abschnitten werden die einzelnen Aufgaben beschrieben.

Umgebung einrichten

  1. Wählen Sie ein Projekt aus oder erstellen Sie eines.

    Für die Zwecke dieses Leitfadens müssen sich Ihre Quell- und Zielressourcen im selben Projekt befinden.

    Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Wenn Sie Filestore testen und die erstellten Ressourcen nicht behalten möchten, empfehlen wir Ihnen, ein Projekt zu erstellen, anstatt ein vorhandenes Projekt auszuwählen. Wenn Sie mit den Tests fertig sind, können Sie das Projekt löschen und dadurch alle mit dem Projekt verknüpften Ressourcen entfernen.

    Zur Projektauswahl

  2. Abrechnung aktivieren

    Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein. So prüfen Sie, ob die Abrechnung für Ihr Projekt aktiviert ist.

  3. Aktivieren Sie folgende APIs:

    • Filestore API

    • Resource Manager API

    • Pub/Sub API

    • Cloud Storage API

    • Storage Transfer API

    • Cloud Logging API

    • Compute Engine API

    • Service Usage API

    • Identity and Access Management API

  4. Optional: gcloud, eine wichtige Komponente des Google Cloud SDK, ist auf jeder Compute Engine-VM installiert. Wenn Sie einen der folgenden Schritte über die lokale Befehlszeile ausführen, müssen Sie das Google Cloud SDK einrichten.

    Installieren und initialisieren Sie das Google Cloud SDK.

    Wenn Sie das Google Cloud SDK bereits installiert haben, prüfen Sie, ob Sie die neueste verfügbare Version haben. Führen Sie dazu Folgendes aus:

    gcloud components update

  5. Erstellen Sie ein Dienstkonto. Weisen Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen die folgenden Rollen zu:

    • Owner

    • Project IAM Admin

    • Role Administrator

    • Pub/Sub Editor

    • Cloud Filestore Editor

    • Storage Object Admin

    • Storage Transfer Admin

    • Storage Transfer Agent

    1. Kopieren Sie den Namen des erstellten Dienstkontos und speichern Sie ihn für einen späteren Schritt.

    2. Erstellen Sie einen Dienstkontoschlüssel für das gerade erstellte Konto. Erstellen Sie für diesen Leitfaden nur einen Schlüssel. Laden Sie die Schlüsseldatei herunter und speichern Sie sie für einen späteren Schritt.

  6. Weisen Sie einem Nutzerkonto Rollen zu. Suchen Sie auf der Seite IAM nach Ihrem Nutzerkonto und weisen Sie ihm die folgenden Rollen zu:

    • Owner

    • Project IAM Admin

    • Role Administrator

    • Storage Transfer Admin

    • Storage Admin

    Weitere Informationen finden Sie unter Nutzerberechtigungen.

Filestore konfigurieren

  1. Filestore-Instanz erstellen Beachten Sie beim Erstellen der Instanz die folgenden Spezifikationen:

    1. Der Cloud Storage-Bucket, die Client-VM und die Filestore-Instanz müssen sich in derselben Region befinden.

    2. Wählen Sie einen regionalen oder Enterprise-Instanztyp aus.

    3. Optional: Für größere Datensätze können Sie eine Kontingenterhöhung beantragen.

    4. Kopieren Sie den Instanznamen und die IP-Adresse und speichern Sie sie für einen späteren Schritt.

  2. Filestore-Instanz auf einem Clientcomputer bereitstellen

    In diesem Leitfaden wird eine Übertragung beschrieben, bei der vier Compute Engine-VMs als NFS-Clientcomputer verwendet werden. Sie erstellen ein einzelnes Dienstkonto, das im Namen der vier Clientcomputer ausgeführt wird. Auf jedem Clientcomputer sind drei Storage Transfer Service-Agents installiert.

    1. Erstellen Sie eine Compute Engine-VM-Instanz mit Zugriff auf andere Google Cloud-Dienste.

      1. Konfigurieren Sie eine VM mit den folgenden Spezifikationen:

        1. Achten Sie bei der Angabe eines Speicherorts darauf, dass sich der Google Cloud-Bucket, die Client-VM und die Filestore-Instanz in derselben Region befinden.

        2. Jeder Storage Transfer Service-Agent benötigt 4 vCPUs und 8 GB RAM. Für eine optimale Leistung sollten Sie mehrere Agents pro VM ausführen. Stellen Sie für diese Anleitung eine e2-standard-32-Compute Engine-VM-Instanz bereit.

        3. Geben Sie im Abschnitt Identität und API-Zugriff Folgendes an:

          1. Wählen Sie im Drop-down-Menü Dienstkonten das gerade erstellte Dienstkonto aus.

    2. Melden Sie sich nach dem Erstellen der Compute Engine-VM-Instanz über SSH auf dem Computer an. Suchen Sie auf der Seite Compute Engine-VM-Instanz nach der von Ihnen erstellten Instanz und klicken Sie auf SSH.

    3. Erstellen Sie mit einem Texteditor wie Vim eine Kopie der Schlüsseldatei des Dienstkontos und speichern Sie sie vorübergehend lokal auf der VM. Beispiel: service-account-key.json

    4. Installieren Sie Docker auf der VM.

    5. gcloud ist bereits auf der Compute Engine-VM-Instanz installiert. Geben Sie in der SSH-Befehlszeile den folgenden Befehl ein, um das Dienstkonto zur Verwendung von gcloud zu autorisieren:

      gcloud auth activate-service-account ACCOUNT --key-file=KEY_FILE

      Dabei gilt:

      • ACCOUNT ist die E-Mail-Adresse des von Ihnen erstellten Dienstkontos. Beispiel: my-service-account@my-project.iam.gserviceaccount.com

      • KEY_FILE ist der relative lokale Pfad zur Schlüsseldatei, die Sie zuvor kopiert haben. Beispiel: sa-key.json.

    6. Installieren Sie NFS weiterhin über die SSH-Befehlszeile:

      sudo apt-get -y update && sudo apt-get install nfs-common

    7. Erstellen Sie ein lokales Verzeichnis, das der Filestore-Dateifreigabe zugeordnet werden soll. Wenn Sie diese Schritte für nachfolgende Compute Engine-VM-Instanzen wiederholen, verwenden Sie denselben Namen und Pfad:

      sudo mkdir -p MY_DIRECTORY

      Dabei gilt:

      • MY_DIRECTORY ist der Name des lokalen POSIX-Verzeichnisses für die Compute Engine-VM-Instanz. Beispiel: /usr/local/my_dir.

    8. Stellen Sie die mit der Filestore-Instanz verknüpfte Dateifreigabe bereit, indem Sie den Befehl mount ausführen. Sie können jede NFS-Bereitstellungsoption verwenden. Die besten Leistungsergebnisse erzielen Sie mit den NFS-Bereitstellungsempfehlungen unter Dateifreigabe auf einer Compute Engine-VM-Instanz bereitstellen:

      sudo mount -o rw IP_ADDRESS:/FILE_SHARE MY_DIRECTORY

      Dabei gilt:

      • IP_ADDRESS die IP-Adresse für die Filestore-Instanz ist. Sie finden sie auf der Seite Filestore-Instanzen.

      • FILE_SHARE ist der Name der Dateifreigabe für die Instanz. Beispiel: my_fs_instance.

      • MY_DIRECTORY ist der Name des Verzeichnisses, das Sie im vorherigen Schritt zugeordnet haben. Dies ist ein Verzeichnis auf der Compute Engine-VM-Instanz, in dem Sie die Filestore-Instanz bereitstellen möchten.

    9. Bestätigen Sie den Bereitstellungspunkt:

      mount -l | grep nfs

      Daraufhin wird Folgendes oder Ähnliches zurückgegeben:

      10.66.55.194:/my_fs_instance on /home/usr/my_dir type nfs (rw,relatime,vers=3,rsize=262144,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.66.55.194,mountvers=3,mountport=2050,mountproto=udp,local_lock=none,addr=10.66.55.194)

      Alternativ können Sie auch den folgenden Befehl verwenden:

      df -h --type=nfs

      Daraufhin wird Folgendes oder Ähnliches zurückgegeben:

      Filesystem                       Size  Used Avail Use% Mounted on
10.66.55.194:/my_fs_instance  1.0T     0  1.0T   0% /home/usr/my_dir

    10. Notieren Sie sich den lokalen POSIX-Verzeichnispfad und speichern Sie ihn für einen späteren Schritt.

    11. Wiederholen Sie die vorherigen Schritte, um drei weitere Compute Engine-VM-Instanzen zu erstellen und auf jeder dieselbe Filestore-Instanz bereitzustellen. Verwenden Sie dasselbe Dienstkonto, um alle vier Compute Engine-VMs zu verwalten. Speichern Sie vorübergehend eine lokale Kopie des Dienstkontoschlüssels auf jeder VM.

Storage Transfer Service konfigurieren

  1. Erstellen Sie einen Agent-Pool.

  2. Autorisieren Sie den Dienst-Agenten für alle Funktionen des Storage Transfer Service.

    1. Geben Sie den folgenden Befehl ein:

      gcloud transfer authorize --add-missing --creds-file=KEY_FILE

      Dabei gilt:

      • KEY_FILE ist der relative lokale Pfad zur Schlüsseldatei, die Sie zuvor kopiert haben. Beispiel: sa-key.json.

      Notieren Sie sich die zurückgegebene Benachrichtigung zum Kundenservicemitarbeiter und speichern Sie die zugehörige E-Mail-Adresse für den nächsten Schritt.

    2. Nach einigen Minuten sollte der Kundenservicemitarbeiter auf der Seite IAM angezeigt werden. Prüfen Sie nach der Übertragung, ob die folgenden Rollen zugewiesen sind:

      • Pub/Sub Editor

      • Storage Admin

  3. Installieren Sie Übertragungs-Agents.

    Jeder Storage Transfer Service-Agent benötigt 4 vCPUs und 8 GB RAM.

    1. Wir empfehlen, mehrere Agents zu installieren, um die Fehlertoleranz zu maximieren und die dynamische Skalierung des Storage Transfer Service zu nutzen. Das folgende Beispiel zeigt, wie Sie drei Agenten auf einem Clientcomputer installieren. Führen Sie in der SSH-Befehlszeile den folgenden Befehl aus:

      gcloud transfer agents install --pool=MY_AGENT_POOL --count=3 \
--creds-file=MY_SERVICE_ACCOUNT_KEY_FILE

      Dabei gilt:

      • MY_AGENT_POOL ist der Name des zuvor erstellten Kundenservicemitarbeiterpools. Beispiel: my-agent-pool.

      • MY_SERVICE_ACCOUNT_KEY_FILE ist der relative Pfad zum Dienstkontoschlüssel. Beispiel: /relative/path/to/service-account-key.json

    2. Wiederholen Sie diese Schritte für jeden Clientcomputer.

Übertragungsjob erstellen und starten

  1. Erstellen Sie einen Übertragungsjob, um Daten aus Ihrem Cloud Storage-Bucket in Ihre Filestore-Instanz zu verschieben. Verweisen Sie auf das lokale POSIX-Verzeichnis, das Sie zuvor gespeichert haben, um den Zielpfad anzugeben. Beispiel: /home/usr/my_dir

Übertragungsstatus überwachen

Console

Sie können den Status der Übertragung auf der Seite Übertragungsjobs in der Google Cloud Console verfolgen.

Befehlszeile

Sie können den Status über die Befehlszeile überwachen:

gcloud transfer jobs monitor JOB_NAME

Dabei gilt:

  • JOB_NAME ist der Name des Übertragungsjobs. Beispiel: transferJobs/OPI6300379522015192941

Die Antwort sieht in etwa so aus:

Polling for latest operation name...done.
Operation name: my-sts-project_transferJobs/OPI6300379522015192941_0000000001660692377
Parent job: OPI6300379522015192941
Start time: 2022-08-16T23:26:17.600981Z
SUCCESS | 100% (731.9MiB of 731.9MiB) | Skipped: 129.8kiB | Errors: 0
End time: 2022-08-16T23:27:23.429472Z

Weitere Informationen finden Sie unter Agent-Aktivitäten überwachen oder Details zur Dateisystemübertragung.

Nächste Schritte