Private Instanz erstellen

Auf dieser Seite wird beschrieben, wie Sie eine Cloud Data Fusion-Instanz mit einer privaten IP-Adresse erstellen. Die private Cloud Data Fusion-Instanz wird in einem VPC-Netzwerk oder einem freigegebenen VPC-Netzwerk erstellt.

Eine private Cloud Data Fusion-IP-Instanz bietet folgende Vorteile:

  • Verbindungen zur Cloud Data Fusion-Instanz werden über ein privates VPC-Netzwerk in Ihrem Google Cloud-Projekt hergestellt. Traffic über dieses Netzwerk wird nicht über das öffentliche Internet geleitet.

  • Die Instanz kann über Cloud VPN mit Ihrem lokalen Netzwerk, z. B. relationale Datenbanken, eine Verbindung zu Ihren lokalen Ressourcen oder Cloud Interconnect herstellen. Sie greifen über das private Netzwerk sicher auf Ihre lokalen Ressourcen wie Datenbanken zu, ohne diesen den Zugriff auf Google Cloud zu ermöglichen.

VPC-Netzwerk einrichten

Erstellen Sie ein VPC-Netzwerk oder ein freigegebenes VPC-Netzwerk, falls noch nicht geschehen.

In diesem Abschnitt erfahren Sie, wie Sie den privaten Google-Zugriff aktivieren und einen IP-Bereich zuweisen, was beides für die Einrichtung Ihres VPC-Netzwerks erforderlich ist.

Privaten Google-Zugriff aktivieren

Die Region, in der Sie Ihre private Cloud Data Fusion-Instanz erstellen, muss ein Subnetz mit aktiviertem privatem Google-Zugriff haben.

So aktivieren Sie den privaten Google-Zugriff für Ihr Subnetz:

  1. Rufen Sie in der Google Cloud Console die Seite „VPC-Netzwerke“ auf.

    Seite „VPC-Netzwerke“ öffnen

  2. Suchen Sie in der Spalte Region die Region, in der Sie Ihre private Cloud Data Fusion-Instanz erstellen möchten. Klicken Sie auf das Subnetz für diese Region.

  3. Klicken Sie auf Bearbeiten.

  4. Wählen Sie für Privater Google-Zugriff die Option Ein aus.

  5. Klicken Sie auf Speichern.

    Image

IP-Bereich zuweisen

In den folgenden Schritten wird gezeigt, wie Sie einen IP-Bereich für Ihre Cloud Data Fusion-Instanz zuweisen. Beachten Sie, dass Ihre Pipeline auf einem Dataproc-Cluster ausgeführt wird, der einen anderen IP-Bereich als den Ihrer Cloud Data Fusion-Instanz zugewiesenen verwendet.

Führen Sie diese Schritte nur aus, wenn Sie ein freigegebenes VPC-Netzwerk verwenden. Wenn Sie kein freigegebenes VPC-Netzwerk verwenden, weist Cloud Data Fusion beim Erstellen der Instanz automatisch einen IP-Bereich zu. Wenn Sie kein freigegebenes VPC-Netzwerk verwenden, überspringen Sie diesen Abschnitt und erstellen Sie eine private Instanz.

Führen Sie die folgenden Schritte aus, um Ihrer Cloud Data Fusion-Instanz einen IP-Bereich zuzuweisen:

  1. Rufen Sie in der Cloud Console die Seite VPC-Netzwerke auf.

    Zur Seite VPC-Netzwerke

  2. Klicken Sie unter Name auf das VPC-Netzwerk, in dem Sie eine private Cloud Data Fusion-Instanz erstellen möchten.

  3. Klicken Sie auf der Seite VPC-Netzwerkdetails auf den Tab Private Dienstverbindung. Aktivieren Sie bei entsprechender Aufforderung die Service Networking API, indem Sie auf API aktivieren klicken.

    Image

  4. Klicken Sie auf IP-Bereich zuweisen.

    1. Geben Sie einen Namen für den IP-Bereich ein.

    2. Wählen Sie unter IP-Bereich die Option Automatisch aus.

    3. Geben Sie eine Präfixgröße von 22 an.

    4. Klicken Sie auf Zuweisen.

      Image

Private Instanz erstellen

Erstellen Sie eine private Cloud Data Fusion-Instanz in einem VPC-Netzwerk oder in einem freigegebenen VPC-Netzwerk. Verwenden Sie zum Erstellen Ihrer Instanz in einem VPC-Netzwerk entweder die Cloud Console oder cURL. Verwenden Sie cURL, um Ihre Instanz in einem freigegebenen VPC-Netzwerk zu erstellen.

Private Instanz in einem VPC-Netzwerk erstellen

Wenn Sie die private Instanz mit der Cloud Console erstellen, weist Cloud Data Fusion Ihnen automatisch den IP-Adressbereich /22 zu. Wenn Sie stattdessen eine explizite IP-Zuordnung Ihrer Wahl angeben möchten, verwenden Sie stattdessen den cURL-Befehl.

Console

Wenn die API aktiviert ist, wird im Abschnitt "Cloud Data Fusion" in der Cloud Console die Seite Instanzen angezeigt. Dort können Sie Ihre Cloud Data Fusion-Instanzen verwalten. Sind keine Instanzen vorhanden, enthält die Seite einen Link zum Erstellen einer Instanz sowie einige nützliche Links zu Dokumentation und Beispielen.

  1. Rufen Sie in der Cloud Console die Seite Instanz erstellen auf.

    Zur Seite „Instanz erstellen”

  2. Geben Sie einen Instanznamen ein.

  3. Geben Sie eine Beschreibung für Ihre Instanz ein.

  4. Wählen Sie die Region aus, in der Sie die Instanz erstellen möchten, und zwar die Region, für die Sie den privaten Google-Zugriff aktiviert haben.

  5. Geben Sie die von Ihnen bevorzugte Cloud Data Fusion-Version an.

  6. Wählen Sie die gewünschte Version für Cloud Data Fusion aus.

  7. Geben Sie in Cloud Data Fusion Version 6.2.3 und höher das Dataproc-Dienstkonto an, das zum Ausführen Ihrer Cloud Data Fusion-Pipeline in Dataproc verwendet werden soll. In der Benutzeroberfläche wird das Compute Engine-Standardkonto vorab ausgewählt. Sorgen Sie unabhängig von der Version dafür, dass das Dienstkonto die entsprechenden Rollen für die Identitäts- und Zugriffsverwaltung hat. Weitere Informationen finden Sie unter Berechtigungen für Dienstkontonutzer erteilen.

  8. Klicken Sie auf Advanced Options (Erweiterte Optionen). Wählen Sie unter Private IP-Adresse die Option Private IP-Adresse aktivieren aus.

  9. Wählen Sie unter Verknüpftes Netzwerk ein Netzwerk aus, in dem Sie Ihre private Instanz erstellen möchten.

  10. Klicken Sie auf Erstellen. Es kann bis zu 30 Minuten dauern, bis die Instanz erstellt ist.

cURL

Zur Vereinfachung können Sie die folgenden Variablen exportieren oder diese Werte direkt in die folgenden Befehle einsetzen.

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Zum Erstellen einer Cloud Data Fusion-Instanz mit der REST API senden Sie die folgende create API Anfrage.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=instance_id -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "network", "ipAllocation": "ip_range"}}'
Parameter Beschreibung
instance_id Geben Sie eine ID für die Instanz an.
network Der Name des VPC-Netzwerks, in dem Sie Ihre private Instanz erstellen möchten.
ip_range Der zugewiesene IP-Bereich. Sie finden den IP-Bereich in der Cloud Console auf der Seite mit den VPC-Netzwerkdetails auf dem Tab Private Dienstverbindung unter Interner IP-Bereich.

Private Instanz in einem freigegebenen VPC-Netzwerk erstellen

Zur besseren Übersicht können Sie die folgenden Variablen exportieren. Alternativ können Sie diese Werte direkt in den folgenden Befehlen ersetzen.

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Zum Erstellen einer Cloud Data Fusion-Instanz mit der REST API senden Sie die folgende create API Anfrage.

  curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=instance_id -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/shared_vpc_host_project_id/global/networks/network", "ipAllocation": "ip_range"}}'
  

Parameter Beschreibung
instance_id Geben Sie eine ID für die Instanz an.
shared_vpc_host_project_id Die ID des Projekts, das das freigegebene VPC-Netzwerk hostet.
network Der Name des VPC-Netzwerks, in dem Sie Ihre private Instanz erstellen möchten.
ip_range Der zugewiesene IP-Bereich. Sie finden den IP-Bereich in der Cloud Console auf der Seite „Details zum VPC-Netzwerk“ auf dem Tab Private Dienstverbindung unter Interner IP-Bereich.

VPC-Netzwerk-Peering einrichten

Cloud Data Fusion setzt VPC-Netzwerk-Peering ein, um eine Netzwerkverbindung zu Ihrem VPC-Netzwerk herzustellen. Dadurch kann Cloud Data Fusion über private IP-Adressen auf Ressourcen in Ihrem Netzwerk zugreifen.

In diesem Abschnitt erfahren Sie, wie Sie eine Peering-Konfiguration zwischen Ihrem Netzwerk und dem Cloud Data Fusion-Mandantenprojekt erstellen.

Verbindung zu einer externen Quelle herstellen

Damit Sie eine Verbindung zu einer Ressource in einem externen Netzwerk (einem lokalen Netzwerk oder einem anderen VPC-Netzwerk) herstellen können, müssen das externe Netzwerk und die Cloud Data Fusion-Instanz über dasselbe VPC-Netzwerk verbunden werden.

Im Folgenden wird beschrieben, wie Sie ein externes Netzwerk über Cloud VPN-Tunnel mit BGP-Routing oder Cloud Interconnect-Anhängen mit dem Cloud Data Fusion-VPC-Netzwerk verbinden:

  • Stellen Sie sicher, dass Ihr VPC-Netzwerk über einen Cloud-VPN-Tunnel oder einen VLAN-Anhang für Dedicated Interconnect oder Partner Interconnect mit dem externen Netzwerk verbunden ist.
  • Achten Sie darauf, dass die BGP-Sitzungen auf den Cloud Routern, die Ihre Cloud VPN-Tunnel oder Cloud Interconnect-Anhänge (VLANs) verwalten, bestimmte Präfixe (Ziele) aus Ihrem externen Netzwerk erhalten.

    Standardrouten (Ziel 0.0.0.0/0) können nicht in das VPC-Netzwerk von Cloud Data Fusion importiert werden, da dieses Netzwerk eine eigene lokale Standardroute hat. Lokale Routen für ein Ziel werden immer verwendet, obwohl Cloud Data Fusion Peering für den Import benutzerdefinierter Routen aus Ihrem VPC-Netzwerk konfiguriert ist.

  • Identifizieren Sie die Peering-Verbindungen, die über die private Dienstverbindung erzeugt werden. Je nach Dienst kann die private Dienstverbindung eine oder mehrere der folgenden Peering-Verbindungen erstellen, aber nicht unbedingt alle:
    • datafusion-googleapis-com
    • servicenetworking-googleapis-com
  • Aktualisieren Sie alle Peering-Verbindungen, um den Export benutzerdefinierter Routen zu aktivieren.
  • Identifizieren Sie den zugewiesenen Bereich, der von der Verbindung für private Dienste verwendet wird.
  • Erstellen Sie ein benutzerdefiniertes Cloud Router-Advertising für den zugewiesenen Bereich auf den Cloud Routern, die BGP-Sitzungen für Ihre Cloud VPN-Tunnel oder Cloud Interconnect-Anhänge (VLANs) verwalten.

Mandanten-Projekt-ID finden

Sie benötigen Ihre Mandantenprojekt-ID, um eine Peering-Konfiguration zu erstellen.

  1. Rufen Sie in der Cloud Console die Seite Cloud Data Fusion-Instanzen auf.

    Zur Seite „Instanzen“

  2. Wählen Sie unter Instanzname Ihre Instanz aus.

  3. Kopieren Sie auf der Seite Instanzdetails den Wert für Dienstkonto. Die Projekt-ID des Mandanten ist der Teil zwischen dem At-Symbol (@) und dem folgenden Zeitraum (.). Wenn der Wert des Dienstkontos beispielsweise
    cloud-datafusion-management-sa@r8170c9b5e7699803-tp.iam.gserviceaccount.com
    ist, ist die Mandantenprojekt-ID r8170c9b5e7699803-tp.

    Image

Peering-Verbindung erstellen

  1. Rufen Sie in der Cloud Console die Seite VPC-Netzwerk-Peering auf.

    Zum VPC-Netzwerk-Peering

  2. Klicken Sie auf Peering-Verbindung erstellen.

  3. Klicken Sie auf Weiter.

  4. Geben Sie einen Namen für die Peering-Verbindung ein.

  5. Wählen Sie unter Mein VPC-Netzwerk das Netzwerk aus, in dem Sie die Cloud Data Fusion-Instanz erstellt haben.

  6. Wählen Sie unter Peering-VPC-Netzwerk die Option In einem anderen Projekt aus.

  7. Geben Sie unter Projekt-ID die in Schritt 1 zuvor ermittelte Mandantenprojekt-ID ein.

  8. Geben Sie unter VPC-Netzwerkname instance_region-instance_id ein.

    • instance_region ist die Region, in der Sie die Cloud Data Fusion-Instanz erstellt haben.
    • instance_id ist die ID Ihrer Cloud Data Fusion-Instanz.
  9. Klicken Sie auf Benutzerdefinierte Routen austauschen. Wählen Sie Benutzerdefinierte Routen exportieren aus. Auf diese Weise können benutzerdefinierte Routen, die in Ihrem VPC-Netzwerk definiert sind, mit dem Mandanten-VPC-Netzwerk ausgetauscht werden.

  10. Klicken Sie auf Erstellen.

    Image

IAM-Berechtigungen einrichten

Führen Sie diese Schritte nur aus, wenn Sie ein freigegebenes VPC-Netzwerk verwenden. Wenn Sie kein freigegebenes VPC-Netzwerk verwenden, überspringen Sie diesen Abschnitt und gehen Sie zu Firewallregel erstellen.

Wenn Sie Ihre Cloud Data Fusion-Instanz in einem freigegebenen VPC-Netzwerk erstellen, müssen Sie der Rolle Compute-Netzwerknutzer für das freigegebene VPC-Hostprojekt Zugriff auf die folgenden Dienstkonten gewähren:

  • Cloud Data Fusion-Dienstkonto: service-project-number@gcp-sa-datafusion.iam.gserviceaccount.com
  • Dataproc-Dienstkonto: service-project-number@dataproc-accounts.iam.gserviceaccount.com

project-number ist die Cloud Console-Projektnummer, zu der Ihre Cloud Data Fusion-Instanz gehört.

Führen Sie diese Schritte aus, um auf die erforderlichen Dienstkonten Zugriff zu gewähren.

Firewallregel erstellen

Erstellen Sie eine Firewallregel für Ihr VPC-Netzwerk, die eingehende SSH-Verbindungen aus dem IP-Bereich zulässt, den Sie bei der Erstellung Ihrer privaten Cloud Data Fusion-Instanz angegeben haben.

Sie können die Firewallregel mit der Cloud Console oder mit gcloud erstellen. Führen Sie den folgenden Befehl aus, um gcloud zu verwenden:

  gcloud compute firewall-rules create name-allow-ssh --allow=tcp:22 --source-ranges=ip_range --network=network --project=project
  

Parameter Beschreibung
name Name der zu erstellenden Firewallregel.
ip_range Der zugewiesene IP-Bereich. Sie finden den IP-Bereich in der Cloud Console auf der Seite mit den VPC-Netzwerkdetails auf dem Tab Private Dienstverbindung unter Interner IP-Bereich.
network Das Netzwerk, dem diese Regel zugeordnet ist. Der Name des VPC-Netzwerks, in dem Sie die private Instanz erstellt haben.
project Die ID des Projekts, in dem das VPC-Netzwerk gehostet wird.


Sie können nun Ihre private Cloud Data Fusion-Instanz verwenden.

Weitere Informationen