Private Instanz mit VPC-Peering erstellen

Auf dieser Seite wird beschrieben, wie Sie eine Cloud Data Fusion-Instanz mit einer internen IP-Adresse erstellen. Sie erstellen die Instanz in einem VPC-Netzwerk oder einem freigegebenen VPC-Netzwerk.

Eine private Cloud Data Fusion-Instanz bietet folgende Vorteile:

  • Verbindungen zur Instanz werden über ein privates VPC-Netzwerk in Ihrem Google Cloud Projekt hergestellt. Der Traffic über das Netzwerk wird nicht über das öffentliche Internet geleitet.

  • Die Instanz kann über Cloud VPN oder Cloud Interconnect eine Verbindung zu Ihren lokalen Ressourcen wie relationalen Datenbanken herstellen, da Ihr lokales Netzwerk mit dem privaten VPC-Netzwerk vonGoogle Cloud verbunden ist. Sie können über das private Netzwerk sicher auf Ihre lokalen Ressourcen wie Datenbanken zugreifen, ohne diesen den Zugriff auf Google Cloudzu ermöglichen.

Lernziele

  • Richten Sie das VPC-Netzwerk oder das freigegebene VPC-Netzwerk ein.
  • Weisen Sie einen IP-Bereich zu, der zum Bereitstellen der Cloud Data Fusion-Instanz im Mandantenprojekt verwendet wird.
  • Erstellen Sie die private Cloud Data Fusion-Instanz.
  • Richten Sie das VPC-Netzwerk-Peering zwischen der VPC mit der Cloud Data Fusion-Instanz und der VPC mit dem zugehörigen Mandantenprojekt ein.
  • Richten Sie für freigegebene VPC-Netzwerke IAM-Berechtigungen (Identity and Access Management) ein.
  • Wenn für Ihre private Instanz Cloud Data Fusion Version 6.2.0 oder niedriger verwendet wird, erstellen Sie eine Firewallregel.
  • Aktivieren Sie den privaten Google-Zugriff im Dataproc-Subnetz, damit verschiedene Google Cloud Dienste intern miteinander kommunizieren können.

Hinweis

  • Informationen zur Bereitstellungsarchitektur von Cloud Data Fusion finden Sie unter Netzwerk.

VPC-Netzwerk einrichten

Erstellen Sie ein VPC-Netzwerk oder ein freigegebenes VPC-Netzwerk, falls noch nicht geschehen.

Zum Einrichten Ihres VPC-Netzwerks müssen Sie einen IP-Adressbereich zuweisen.

IP-Bereich zuweisen

VPC-Netzwerk

Wenn Sie kein freigegebenes VPC-Netzwerk verwenden, weist Cloud Data Fusion beim Erstellen einer Instanz standardmäßig einen IP-Bereich zu.

Freigegebenes VPC-Netzwerk

Wenn Sie eine freigegebene VPC verwenden möchten, müssen Sie Ihrer Cloud Data Fusion-Instanz einen IP-Bereich zuweisen.

Führen Sie die folgenden Schritte aus, um Ihrer Cloud Data Fusion-Instanz einen IP-Bereich zuzuweisen:

  1. Rufen Sie in der Google Cloud Console die Seite VPC-Netzwerke auf.

    Zur Seite VPC-Netzwerke

  2. Klicken Sie in der Spalte Name auf das VPC-Netzwerk, in dem Sie eine private Cloud Data Fusion-Instanz erstellen möchten.

    Die Seite VPC-Netzwerkdetails wird geöffnet.

  3. Klicken Sie auf Private Dienstverbindung. Aktivieren Sie bei entsprechender Aufforderung die Service Networking API, indem Sie auf API aktivieren klicken.

    Konfigurieren Sie die Details zum VPC-Netzwerk.

  4. Klicken Sie auf IP-Bereich zuweisen.

    1. Geben Sie einen Namen für den IP-Bereich ein.

    2. Klicken Sie unter IP-Bereich auf Automatisch.

    3. Geben Sie eine Präfixgröße von 22 an.

    4. Klicken Sie auf Zuweisen.

      Weisen Sie einen IP-Bereich zu.

Private Instanz erstellen

Erstellen Sie die private Cloud Data Fusion-Instanz in einem VPC-Netzwerk oder in einem freigegebenen VPC-Netzwerk.

VPC-Netzwerk

Verwenden Sie zum Erstellen der Instanz in einem VPC-Netzwerk entweder die Google Cloud Console oder cURL.

Wenn Sie die private Instanz mit der Google Cloud Console erstellen, weist Cloud Data Fusion standardmäßig den /22-IP-Adressbereich zu. Wenn Sie einen anderen IP-Bereich auswählen möchten, müssen Sie den cURL-Befehl verwenden.

Console

  1. Rufen Sie die Seite Data Fusion-Instanz erstellen auf.

    Zu „Data Fusion-Instanz erstellen“

  2. Geben Sie einen Namen und eine Beschreibung für die Instanz ein.

  3. Wählen Sie die Region aus, in der die Instanz erstellt werden soll.

  4. Wählen Sie eine Version und eine Edition für Cloud Data Fusion aus.

  5. Geben Sie das Dataproc-Dienstkonto an, das zum Ausführen Ihrer Cloud Data Fusion-Pipeline in Dataproc verwendet werden soll. Das Compute Engine-Standardkonto ist bereits ausgewählt.

  6. Maximieren Sie das Menü Erweiterte Optionen und klicken Sie auf Private IP-Adresse aktivieren.

  7. Wählen Sie im Feld Netzwerk ein Netzwerk aus, in dem die Instanz erstellt werden soll.

  8. Klicken Sie auf Erstellen. Es kann bis zu 30 Minuten dauern, bis die Instanz erstellt ist.

cURL

Zur Vereinfachung können Sie die folgenden Variablen exportieren oder diese Werte direkt in die folgenden Befehle einsetzen:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Rufen Sie zum Erstellen der Instanz die Methode create() auf:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

Ersetzen Sie Folgendes:

  • INSTANCE_ID: Der ID-String, den die neue Instanz erhalten soll.
  • NETWORK_NAME: Der Name des VPC-Netzwerks, in dem Sie die private Instanz erstellen möchten.
  • IP_RANGE: Der zugewiesene IP-Bereich. Sie finden den IP-Bereich in der Google Cloud Console unter VPC-Netzwerkdetails > Private Dienstverbindung > Interner IP-Bereich .

Freigegebenes VPC-Netzwerk

Verwenden Sie cURL, um Ihre Instanz in einem freigegebenen VPC-Netzwerk zu erstellen.

cURL

Zur Vereinfachung können Sie die folgenden Variablen exportieren. Alternativ können Sie diese Werte direkt in die folgenden Befehle einsetzen:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Rufen Sie zum Erstellen der Instanz die Methode create() auf:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/SHARED_VPC_HOST_PROJECT_ID/global/networks/NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

Ersetzen Sie Folgendes:

  • INSTANCE_ID: Der ID-String, den die neue Instanz erhalten soll.
  • SHARED_VPC_HOST_PROJECT_ID: Die ID des Projekts, in dem das freigegebene VPC-Netzwerk gehostet wird.
  • NETWORK_NAME: Der Name des VPC-Netzwerks, in dem Sie die private Instanz erstellen möchten.
  • IP_RANGE: Der zugewiesene IP-Bereich. Sie finden den IP-Bereich in der Google Cloud Console auf der Seite VPC-Netzwerkdetails > Private Dienstverbindung > Interner IP-Bereich.

VPC-Netzwerk-Peering einrichten

Cloud Data Fusion-Dienste, die Sie in Ihrer Designumgebung verwenden (z. B. Wrangler, Connection Manager und Schema Validation), initiieren Netzwerkverbindungen von der VPC des Mandantenprojekts zu den Quellsystemen. Cloud Data Fusion verwendet VPC-Netzwerk-Peering, um eine Netzwerkverbindung zur VPC oder freigegebenen VPC herzustellen, die Ihre Instanz enthält. Über das VPC-Netzwerk-Peering kann Cloud Data Fusion über interne IP-Adressen mithilfe Ihrer eigenen VPC und ihrer Steuerelemente auf Ressourcen in Ihrem Netzwerk zugreifen. Informationen zum Herstellen einer Verbindung zu einer Ressource in einem anderen Netzwerk finden Sie in der Anleitung für Anwendungsfälle für Verbindungen.

Im folgenden Abschnitt wird beschrieben, wie Sie eine Peering-Konfiguration zwischen Ihrem Netzwerk und dem Netzwerk des Cloud Data Fusion-Mandantenprojekts erstellen.

Mandanten-Projekt-ID abrufen

Sie benötigen die Mandantenprojekt-ID, um eine Peering-Konfiguration zu erstellen.

  1. Rufen Sie die Seite Cloud Data Fusion-Seite Instanzen auf.

    Zur Seite „Instanzen“

  2. Wählen Sie in der Spalte Instanzname die Instanz aus.

  3. Kopieren Sie auf der Seite Instanzdetails die Projekt-ID des Mandanten. Sie benötigen sie, wenn Sie in den folgenden Schritten eine Peering-Verbindung erstellen.

Peering-Verbindung erstellen

  1. Rufen Sie die Seite VPC-Netzwerk-Peering auf.

    Zum VPC-Netzwerk-Peering

  2. Klicken Sie auf Verbindung erstellen > Weiter.

  3. Führen Sie auf der Seite Peering-Verbindung erstellen die folgenden Schritte aus:

    1. Geben Sie einen Namen für die Peering-Verbindung ein.
    2. Wählen Sie unter Mein VPC-Netzwerk das Netzwerk aus, das Ihre Cloud Data Fusion-Instanz enthält.
    3. Wählen Sie für Peering-VPC-Netzwerk die Option In einem anderen Projekt aus.
    4. Geben Sie unter Projekt-ID die Mandantenprojekt-ID ein, die Sie zuvor in dieser Anleitung ermittelt haben.
    5. Wählen Sie unter VPC-Netzwerkname ein Netzwerk aus oder geben Sie INSTANCE_REGION-INSTANCE_ID ein.

      Ersetzen Sie Folgendes:

      • INSTANCE_REGION: die Region, in der Sie die Cloud Data Fusion-Instanz erstellt haben.
      • INSTANCE_ID: die ID Ihrer Cloud Data Fusion-Instanz.
    6. Wählen Sie die Internetprotokollversion für die Peering-Verbindung aus, um IPv4- und IPv6-Routen zwischen Ihrem VPC-Netzwerk und dem Peering-VPC-Netzwerk auszutauschen. Weitere Informationen finden Sie unter VPC-Netzwerk-Peering.

    7. Wählen Sie Benutzerdefinierte Routen exportieren aus, damit benutzerdefinierte Routen aus Ihrem VPC-Netzwerk in das VPC-Netzwerk des Tenants exportiert werden können.

    8. Legen Sie fest, ob Subnetzrouten mit öffentlicher IPv4-Adresse in Ihr VPC-Netzwerk importiert oder daraus exportiert werden dürfen.

    9. Klicken Sie auf Erstellen.

    Das VPC-Netzwerk-Peering wird kurz nach der Erstellung aktiviert.

IAM-Berechtigungen einrichten

VPC-Netzwerk

Überspringen Sie diesen Schritt und fahren Sie mit Firewallregel erstellen fort.

Freigegebenes VPC-Netzwerk

Wenn Sie Ihre Cloud Data Fusion-Instanz in einem freigegebenen VPC-Netzwerk erstellen, müssen Sie der Rolle Compute-Netzwerknutzer den folgenden Dienstkonten zuweisen. Wenn Sie Berechtigungen für alle Subnetze erteilen möchten, gewähren Sie die Rolle dem Hostprojekt der freigegebenen VPC.

Wenn Sie den Zugriff weiter steuern möchten, gewähren Sie die Rolle stattdessen einem bestimmten Subnetz und die Rolle Netzwerkbetrachter für das Hostprojekt.

  • Cloud Data Fusion-Dienstkonto: service-PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com
  • Dataproc-Dienstkonto: service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com

PROJECT_NUMBER ist die Nummer desGoogle Cloud Projekts, das Ihre Cloud Data Fusion-Instanz enthält.

Weitere Informationen finden Sie unter Zugriff auf die erforderlichen Dienstkonten gewähren.

Firewallregel erstellen

Erstellen Sie eine Firewallregel für Ihr VPC-Netzwerk, die eingehende SSH-Verbindungen aus dem IP-Bereich zulässt, den Sie bei der Erstellung Ihrer privaten Cloud Data Fusion-Instanz angegeben haben.

Dieser Schritt ist für Cloud Data Fusion-Versionen vor 6.2.0 erforderlich. Sie ermöglicht die Kommunikation zwischen Cloud Data Fusion und Dataproc-Clustern, in denen Pipelines ausgeführt werden.

Sie können die Firewallregel mit der Google Cloud Console oder mit gcloud erstellen.

Console

Weitere Informationen finden Sie unter Firewallregeln erstellen.

gcloud

Führen Sie dazu diesen Befehl aus:

gcloud compute firewall-rules create FIREWALL_NAME-allow-ssh --allow=tcp:22 --source-ranges=IP_RANGE --network=NETWORK_NAME --project=PROJECT_ID

Ersetzen Sie Folgendes:

  • FIREWALL_NAME: Der Name der zu erstellenden Firewallregel.
  • IP_RANGE: Der IP-Bereich, den Sie zugewiesen haben.
  • NETWORK_NAME: Der Name des Netzwerks, mit dem die Firewallregel verknüpft ist. Das ist der Name des VPC-Netzwerks, in dem Sie die private Instanz erstellt haben.
  • PROJECT_ID: Die ID des Projekts, in dem das VPC-Netzwerk gehostet wird.

Schritte für Anwendungsfälle für Verbindungen

In den folgenden Abschnitten werden verbindungsbezogene Anwendungsfälle für private Instanzen beschrieben.

Privaten Google-Zugriff aktivieren

Damit über interne IP-Adressen auf Ressourcen zugegriffen werden kann, müssen die Dataproc-Cluster in Cloud Data Fusion erstellt und die Datenpipelines in einem Subnetz mit privatem Google-Zugriff ausgeführt werden. Sie müssen den privaten Google-Zugriff für das Subnetz aktivieren, das die Dataproc-Cluster enthält.

  • Wenn in der Region, in der die Dataproc-Cluster gestartet werden, nur ein Subnetzwerk vorhanden ist, wird der Cluster in diesem Subnetzwerk gestartet.
  • Wenn in einer Region mehrere Subnetze vorhanden sind, müssen Sie Cloud Data Fusion so konfigurieren, dass das Subnetz mit privatem Google-Zugriff für das Starten von Dataproc-Clustern ausgewählt wird.

Informationen zum Aktivieren des privaten Google-Zugriffs für das Subnetz finden Sie unter Privaten Google-Zugriff konfigurieren.

Optional: Verbindung zu anderen Quellen herstellen

Nachdem Sie eine private Instanz in Cloud Data Fusion erstellt haben, können Sie eine Verbindung zu anderen Quellen herstellen, z. B. für die folgenden Anwendungsfälle:

Optional: DNS-Peering aktivieren

Aktivieren Sie das DNS-Peering in den folgenden Fällen:

  • Wenn Cloud Data Fusion eine Verbindung zu Systemen über Hostnamen und nicht über IP-Adressen herstellt
  • Wenn das Zielsystem hinter einem Load Balancer bereitgestellt wird, wie es bei einigen SAP-Bereitstellungen der Fall ist

Nächste Schritte