Erweiterte Agent-Einrichtung

In diesem Dokument werden erweiterte Einrichtungsoptionen für Transfer Service for On Premises Data beschrieben, darunter:

Daten auf CIFS- oder SMB-Volumes kopieren

Lokale Datenübertragungs-Agents werden nicht direkt auf Windows-Servern unterstützt. Sie können jedoch Daten auf einem POSIX-konformen Dateisystem verschieben, indem Sie sie auf einem Linux-Server oder einer virtuellen Maschine (VM) bereitstellen und anschließend einen Agent vom Linux-Server oder einer VM ausführen, um die Daten in Cloud Storage zu kopieren.

So verschieben Sie Daten von einem CIFS- oder SMB-Volume:

  1. Stellen Sie einen Linux-Server oder eine Linux-VM bereit.

    Informationen zu unterstützten Betriebssystemen finden Sie unter Voraussetzungen.

  2. Führen Sie auf dem Linux-Server oder der bereitgestellten VM den folgenden Befehl aus, um das Volume bereitzustellen:

    sudo mount -t cifs -o
    username=windows-share-user,password=windows-share-password//ip-address/share-name /mnt
    

    Dabei gilt:

    • ip-address: die IP-Adresse des Microsoft Windows-Servers, auf dem sich das CIFS- oder SMB-Volume befindet.
    • share-name: der von Ihnen bereitgestellte Freigabename.
    • windows-share-user: ein autorisierter Nutzer für den Zugriff auf das CIFS- oder SMB-Volume.
    • windows-share-password: das Passwort für den autorisierten Nutzer des CIFS- oder SMB-Volumes.
  3. Bestätigen Sie mit dem folgenden Befehl, dass das CIFS-Volume bereitgestellt wurde:

    findmnt -l
    
  4. Bestätigen Sie mit den folgenden Befehlen, dass der Nutzer, der den Agent ausführt, Dateien auf dem bereitgestellten Volume auflisten und kopieren kann:

    sudo -u username cp /mnt/file1 /mnt/file2
    

    Dabei gilt:

    • username: der Nutzer, der den Agent ausführt.
    • file1: die Datei, aus der kopiert werden soll.
    • file2: der Name der Datei, in die kopiert werden soll.
  5. Installieren Sie den Transfer for On Premises-Agent.

Dienstkonto-Anmeldedaten verwenden

Sie können die Anmeldedaten eines Dienstkontos verwenden, um den Agent auszuführen. Mit Dienstkonto-Anmeldedaten können Sie den Übertragungs-Agent authentifizieren, ohne sich auf ein einzelnes Nutzerkonto verlassen zu müssen. Weitere Informationen zu Kontotypen finden Sie unter Hauptkonten.

Bevor Sie Anmeldedaten für Dienstkonten mit Ihren Agents verwenden, prüfen Sie, ob Transfer Service for On Premises Data bereit ist. Prüfen Sie dazu Folgendes:

  1. Die Ersteinrichtung ist abgeschlossen.

  2. Ein Übertragungsjob ist vorhanden.

So verwenden Sie Dienstkonto-Anmeldedaten für Ihre Agents:

  1. Alle Agent-Container anhalten

  2. Erstellen Sie Dienstkontoschlüssel. Weitere Informationen finden Sie unter Dienstkontoschlüssel erstellen und verwalten.

  3. Starten Sie den Agent-Docker-Container mit dem folgenden Befehl:

    sudo docker run --ulimit memlock=64000000 -d --rm -v /:/transfer_root
    gcr.io/cloud-ingest/tsop-agent:latest
    --enable-mount-directory
    --project-id=project-id
    --creds-file=credential-file
    --hostname=$(hostname)
    --agent-id-prefix=agent-id-prefix

    Dabei gilt:

  • project-id ist die Projekt-ID, die die Übertragung hostet. Pub/Sub-Ressourcen werden erstellt und in Rechnung gestellt.

  • credential-file ist eine JSON-formatierte Dienstkonto-Datei mit Anmeldedaten. Weitere Informationen zum Erstellen einer Dienstkonto-Anmeldedatendatei finden Sie unter Dienstkontoschlüssel erstellen und verwalten.

  • id-prefix ist ein Präfix, das der Agent-ID vorangestellt wird, um den Agent oder seinen Computer in der Google Cloud Console zu identifizieren. Wenn ein Präfix verwendet wird, hat die Agent-ID das Format prefix + hostname + Docker container ID.

Maximalen Arbeitsspeicher des Agents anpassen

Lokale Datenübertragungs-Agents verwenden standardmäßig höchstens 8 GiB Systemspeicher. Sie können den von den Agents maximal nutzbaren Speicher für Ihre Umgebung anpassen. Übergeben Sie dazu --max-physical-mem=maximum-memory und ersetzen Sie maximum-memory durch einen Wert, der für Ihre Umgebung geeignet ist.

Speicheranforderungen für Agents des lokalen Datenübertragungsdienstes:
  • Mindestspeicher: 1 GiB
  • Mindestspeicher für Hochleistungs-Uploads: 6 GiB

Wir empfehlen die Standardeinstellung von 8 GiB.

In der folgenden Tabelle sehen Sie Beispiele für zulässige Formate von maximum-memory:

max-physical-memory Wert Einstellung für den maximalen Arbeitsspeicher
6g 6 Gigabyte
6gb 6 Gigabyte
6GiB 6 Gibibyte

Zugriff auf Agent-Verzeichnis einschränken

Um Verzeichnisse anzugeben, auf die der Agent während der Übertragung zugreifen kann, übergeben Sie -v host-directory:container-directory an den Agent. Dabei gilt:

  • host-directory ist das Verzeichnis auf dem Hostcomputer, aus dem Sie kopieren möchten.
  • container-directory ist das Verzeichnis, das dem Agent-Container zugeordnet ist.

Sie können mehrere -v-Flags verwenden, um weitere Verzeichnisse anzugeben, aus denen kopiert werden soll. Beispiel:

sudo docker run --ulimit memlock=64000000 -d -rm --volumes-from gcloud-config \
-v /usr/local/research:/usr/local/research \
-v /usr/local/billing:/usr/local/billing \
-v /tmp:/tmp \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=project-id \
--hostname=$(hostname) \
--agent-id-prefix=id-prefix

Wenn Sie ein Dienstkonto verwenden, achten Sie darauf, dass Sie die Datei mit den Anmeldedaten im Container bereitstellen und die --creds-file=credential-file übergeben. Beispiel:

sudo docker run --ulimit memlock=64000000 -d -rm \
-v host-directory:container-directory \
-v /tmp:/tmp
-v full-credential-file-path:full-credential-file-path
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=project-id \
--creds-file=credential-file \
--hostname=$(hostname) \
--agent-id-prefix=agent-prefix

Agents mit Kubernetes koordinieren

Docker ist eine unterstützte Containerlaufzeit für Kubernetes. Mit Kubernetes können Sie viele Agents gleichzeitig starten und anhalten. Aus Kubernetes wird der Agent-Container als zustandslose Anwendung betrachtet, sodass die Kubernetes-Anweisungen zum Bereitstellen einer zustandslosen Anwendung eingehalten werden können.

Private API-Endpunkte in Cloud Interconnect verwenden

So verwenden Sie private API-Endpunkte in Cloud Interconnect:

  1. Melden Sie sich bei dem lokalen Host an, auf dem Sie den Agent ausführen möchten.

  2. Konfigurieren Sie privaten Google-Zugriff. Weitere Informationen finden Sie unter Privaten Google-Zugriff für lokale Hosts konfigurieren.

  3. Bestätigen Sie, dass Sie eine Verbindung zu Cloud Storage APIs und Pub/Sub APIs herstellen können:

    1. Führen Sie für Cloud Storage APIs den folgenden Befehl auf demselben Computer aus, auf dem sich der Übertragungs-Agent befindet, um das Verschieben einer Datei in den Cloud Storage-Bucket zu testen: gsutil cp test.txt gs://my-bucket, wobei my-bucket der Name Ihres Cloud Storage-Buckets ist. Wenn die Übertragung funktioniert, ist der Test erfolgreich.
    2. Führen Sie für Pub/Sub APIs den folgenden Befehl auf demselben Computer wie den Übertragungs-Agent aus, um zu bestätigen, dass Sie vorhandene Pub/Sub-Themen finden: gcloud pubsub topics list --project=project-id, wobei project-id der Name des Google Cloud-Projekts ist. Wenn eine Liste von Pub/Sub-Themen angezeigt wird, ist der Test erfolgreich.