Private Instanz erstellen

Auf dieser Seite wird beschrieben, wie Sie eine Cloud Data Fusion-Instanz mit einer privaten IP-Adresse erstellen. Die private Cloud Data Fusion-Instanz wird in einem VPC-Netzwerk oder einem freigegebenen VPC-Netzwerk erstellt.

Eine private Cloud Data Fusion-IP-Instanz bietet folgende Vorteile:

  • Verbindungen zur Cloud Data Fusion-Instanz werden über ein privates VPC-Netzwerk in Ihrem Google Cloud-Projekt hergestellt. Traffic über dieses Netzwerk wird nicht über das öffentliche Internet geleitet.

  • Die Instanz kann über Cloud VPN mit Ihrem lokalen Netzwerk, z. B. relationale Datenbanken, eine Verbindung zu Ihren lokalen Ressourcen oder Cloud Interconnect herstellen. Sie greifen über das private Netzwerk sicher auf Ihre lokalen Ressourcen wie Datenbanken zu, ohne diesen den Zugriff auf Google Cloud zu ermöglichen.

VPC-Netzwerk einrichten

Erstellen Sie ein VPC-Netzwerk oder ein freigegebenes VPC-Netzwerk, falls noch nicht geschehen.

In diesem Abschnitt erfahren Sie, wie Sie den privaten Google-Zugriff aktivieren und einen IP-Bereich zuweisen, was beides für die Einrichtung Ihres VPC-Netzwerks erforderlich ist.

Privaten Google-Zugriff aktivieren

Die Region, in der Sie Ihre private Cloud Data Fusion-Instanz erstellen, muss ein Subnetz mit aktiviertem privatem Google-Zugriff haben.

So aktivieren Sie den privaten Google-Zugriff für Ihr Subnetz:

  1. Rufen Sie in der Google Cloud Console die Seite „VPC-Netzwerke“ auf.

    Zur Seite „VPC-Netzwerke“

  2. Suchen Sie in der Spalte Region die Region, in der Sie Ihre private Cloud Data Fusion-Instanz erstellen möchten. Klicken Sie auf das Subnetz für diese Region.

  3. Klicken Sie auf Bearbeiten.

  4. Wählen Sie für Privater Google-Zugriff die Option Ein aus.

  5. Klicken Sie auf Speichern.

    Bild

IP-Bereich zuweisen

In den folgenden Schritten wird gezeigt, wie Sie einen IP-Bereich für Ihre Cloud Data Fusion-Instanz zuweisen. Beachten Sie, dass Ihre Pipeline auf einem Dataproc-Cluster ausgeführt wird, der einen anderen IP-Bereich als den Ihrer Cloud Data Fusion-Instanz zugewiesenen verwendet.

Führen Sie diese Schritte nur aus, wenn Sie ein freigegebenes VPC-Netzwerk verwenden. Wenn Sie kein freigegebenes VPC-Netzwerk verwenden, weist Cloud Data Fusion beim Erstellen der Instanz automatisch einen IP-Bereich zu. Wenn Sie kein freigegebenes VPC-Netzwerk verwenden, überspringen Sie diesen Abschnitt und erstellen Sie eine private Instanz.

Führen Sie die folgenden Schritte aus, um Ihrer Cloud Data Fusion-Instanz einen IP-Bereich zuzuweisen:

  1. Rufen Sie in der Cloud Console die Seite VPC-Netzwerke auf.

    Zur Seite VPC-Netzwerke

  2. Klicken Sie unter Name auf das VPC-Netzwerk, in dem Sie eine private Cloud Data Fusion-Instanz erstellen möchten.

  3. Klicken Sie auf der Seite VPC-Netzwerkdetails auf den Tab Private Dienstverbindung. Wenn Sie dazu aufgefordert werden, aktivieren Sie die Service Networking API durch Klicken auf API aktivieren.

    Bild

  4. Klicken Sie auf IP-Bereich zuweisen.

    1. Geben Sie einen Namen für den IP-Bereich ein.

    2. Wählen Sie unter IP-Bereich die Option Automatisch aus.

    3. Geben Sie die Präfixgröße 22 an.

    4. Klicken Sie auf Zuweisen.

      Bild

Private Instanz erstellen

Erstellen Sie eine private Cloud Data Fusion-Instanz in einem VPC-Netzwerk oder in einem freigegebenen VPC-Netzwerk. Verwenden Sie zum Erstellen der Instanz in einem VPC-Netzwerk entweder die Cloud Console oder cURL. Verwenden Sie cURL, um Ihre Instanz in einem freigegebenen VPC-Netzwerk zu erstellen.

Private Instanz in einem VPC-Netzwerk erstellen

Wenn Sie die private Instanz mit der Cloud Console erstellen, weist Cloud Data Fusion automatisch den /22-IP-Adressbereich zu. Wenn Sie stattdessen eine explizite IP-Zuordnung Ihrer Wahl angeben möchten, verwenden Sie stattdessen den cURL-Befehl.

Konsole

Wenn die API aktiviert ist, wird im Abschnitt "Cloud Data Fusion" in der GCP Console die Seite Instanzen angezeigt, auf der Sie Cloud Data Fusion-Instanzen verwalten können. Sind keine Instanzen vorhanden, enthält die Seite einen Link zum Erstellen einer Instanz sowie einige nützliche Links zu Dokumentation und Beispielen.

  1. Rufen Sie in der Cloud Console die Seite Instanz erstellen auf.

    Zur Seite "Instanz erstellen"

  2. Geben Sie einen Instanznamen ein.

  3. Geben Sie eine Beschreibung für Ihre Instanz ein.

  4. Wählen Sie die Region aus, in der Sie die Instanz erstellen möchten, und zwar die Region, für die Sie den privaten Google-Zugriff aktiviert haben.

  5. Geben Sie die von Ihnen bevorzugte Cloud Data Fusion-Version an.

  6. Wählen Sie die gewünschte Version für Cloud Data Fusion aus.

  7. Geben Sie in Cloud Data Fusion Version 6.2.3 und höher das Dataproc-Dienstkonto an, das zum Ausführen Ihrer Cloud Data Fusion-Pipeline in Dataproc verwendet werden soll. In der Benutzeroberfläche wird das Compute Engine-Standardkonto vorab ausgewählt. Sorgen Sie unabhängig von der Version dafür, dass das Dienstkonto die entsprechenden Rollen für die Identitäts- und Zugriffsverwaltung hat. Weitere Informationen finden Sie unter Berechtigungen für Dienstkontonutzer erteilen.

  8. Klicken Sie auf Advanced Options (Erweiterte Optionen). Wählen Sie unter Private IP-Adresse die Option Private IP-Adresse aktivieren aus.

  9. Wählen Sie unter Verknüpftes Netzwerk ein Netzwerk aus, in dem Sie Ihre private Instanz erstellen möchten.

  10. Klicken Sie auf Erstellen. Es kann bis zu 30 Minuten dauern, bis die Instanz erstellt ist.

cURL

Zur Vereinfachung können Sie die folgenden Variablen exportieren oder diese Werte direkt in die folgenden Befehle einsetzen.

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Zum Erstellen einer Cloud Data Fusion-Instanz mit der REST API senden Sie die folgende create API Anfrage.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=instance_id -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "network", "ipAllocation": "ip_range"}}'
Parameter Beschreibung
instance_id Geben Sie eine ID für die Instanz an.
network Der Name des VPC-Netzwerks, in dem Sie Ihre private Instanz erstellen möchten.
ip_range Der zugewiesene IP-Bereich. Sie finden Ihren IP-Bereich in der Cloud Console auf der Seite "VPC-Netzwerkdetails" auf dem Tab Private Dienstverbindung unter Interner IP-Bereich.

Private Instanz in einem freigegebenen VPC-Netzwerk erstellen

Zur Vereinfachung können Sie die folgenden Variablen exportieren oder diese Werte direkt in die folgenden Befehle einsetzen.

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Zum Erstellen einer Cloud Data Fusion-Instanz mit der REST API senden Sie die folgende create API Anfrage.

  curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=instance_id -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/shared_vpc_host_project_id/global/networks/network", "ipAllocation": "ip_range"}}'
  

Parameter Beschreibung
instance_id Geben Sie eine ID für die Instanz an.
shared_vpc_host_project_id Die ID des Projekts, das das freigegebene VPC-Netzwerk hostet.
network Der Name des VPC-Netzwerks, in dem Sie Ihre private Instanz erstellen möchten.
ip_range Der zugewiesene IP-Bereich. Sie finden Ihren IP-Bereich in der Cloud Console auf der Seite "VPC-Netzwerkdetails" auf dem Tab Private Dienstverbindung unter Interner IP-Bereich.

VPC-Netzwerk-Peering einrichten

Cloud Data Fusion setzt VPC-Netzwerk-Peering ein, um eine Netzwerkverbindung zu Ihrem VPC-Netzwerk herzustellen. Dadurch kann Cloud Data Fusion über private IP-Adressen auf Ressourcen in Ihrem Netzwerk zugreifen.

In diesem Abschnitt erfahren Sie, wie Sie eine Peering-Konfiguration zwischen Ihrem Netzwerk und dem Cloud Data Fusion-Mandantenprojekt erstellen.

Mandanten-Projekt-ID finden

Sie benötigen Ihre Mandantenprojekt-ID, um eine Peering-Konfiguration zu erstellen.

  1. Rufen Sie in der Cloud Console die Seite Cloud Data Fusion-Instanzen auf.

    Zu Instanzen

  2. Wählen Sie unter Instanzname Ihre Instanz aus.

  3. Kopieren Sie auf der Seite Instanzdetails den Wert für Dienstkonto Ihrer Instanz. Die Mandanten-Projekt-ID ist der Teil zwischen dem "At"-Symbol (@) und dem folgenden Punkt (.). Wenn der Wert des Dienstkontos beispielsweise
    cloud-datafusion-management-sa@r8170c9b5e7699803-tp.iam.gserviceaccount.com
    lautet, ist die Mandantenprojekt-ID r8170c9b5e7699803-tp.

    Bild

Peering-Verbindung erstellen

  1. Wechseln Sie in der Cloud Console zur Seite VPC-Netzwerk-Peering.

    Zum VPC-Netzwerk-Peering

  2. Klicken Sie auf Peering-Verbindung erstellen.

  3. Klicken Sie auf Weiter.

  4. Geben Sie einen Namen für die Peering-Verbindung ein.

  5. Wählen Sie unter Mein VPC-Netzwerk das Netzwerk aus, in dem Sie die Cloud Data Fusion-Instanz erstellt haben.

  6. Wählen Sie unter Peering-VPC-Netzwerk die Option In einem anderen Projekt aus.

  7. Geben Sie unter Projekt-ID die in Schritt 1 zuvor ermittelte Mandantenprojekt-ID ein.

  8. Geben Sie unter VPC-Netzwerkname instance_region-instance_id ein.

    • instance_region ist die Region, in der Sie die Cloud Data Fusion-Instanz erstellt haben.
    • instance_id ist die ID Ihrer Cloud Data Fusion-Instanz.
  9. Klicken Sie auf Benutzerdefinierte Routen austauschen. Wählen Sie Benutzerdefinierte Routen exportieren aus. Auf diese Weise können benutzerdefinierte Routen, die in Ihrem VPC-Netzwerk definiert sind, mit dem Mandanten-VPC-Netzwerk ausgetauscht werden.

  10. Klicken Sie auf Erstellen.

    Bild

IAM-Berechtigungen einrichten

Führen Sie diese Schritte nur aus, wenn Sie ein freigegebenes VPC-Netzwerk verwenden. Wenn Sie kein freigegebenes VPC-Netzwerk verwenden, überspringen Sie diesen Abschnitt und gehen Sie zu Firewallregel erstellen.

Wenn Sie Ihre Cloud Data Fusion-Instanz in einem freigegebenen VPC-Netzwerk erstellen, müssen Sie der Rolle Compute-Netzwerknutzer für das freigegebene VPC-Hostprojekt Zugriff auf die folgenden Dienstkonten gewähren:

  • Cloud Data Fusion-Dienstkonto: service-project-number@gcp-sa-datafusion.iam.gserviceaccount.com
  • Dataproc-Dienstkonto: service-project-number@dataproc-accounts.iam.gserviceaccount.com

project-number ist die Projektnummer der Cloud Console, zu der Ihre Cloud Data Fusion-Instanz gehört.

Führen Sie diese Schritte aus, um auf die erforderlichen Dienstkonten Zugriff zu gewähren.

Firewallregel erstellen

Erstellen Sie eine Firewallregel für Ihr VPC-Netzwerk, die eingehende SSH-Verbindungen aus dem IP-Bereich zulässt, den Sie bei der Erstellung Ihrer privaten Cloud Data Fusion-Instanz angegeben haben.

Sie können die Firewallregel mit der Cloud Console oder mit gcloud erstellen. Führen Sie den folgenden Befehl aus, um gcloud zu verwenden:

  gcloud compute firewall-rules create name-allow-ssh --allow=tcp:22 --source-ranges=ip_range --network=network --project=project
  

Parameter Beschreibung
name Name der zu erstellenden Firewallregel.
ip_range Der zugewiesene IP-Bereich. Sie finden Ihren IP-Bereich in der Cloud Console auf der Seite VPCVPC-Netzwerkdetails“ auf dem Tab Private Dienstverbindung unter Interner IP-Bereich.
network Das Netzwerk, dem diese Regel zugeordnet ist. Der Name des VPC-Netzwerks, in dem Sie die private Instanz erstellt haben.
project Die ID des Projekts, in dem das VPC-Netzwerk gehostet wird.


Sie können nun Ihre private Cloud Data Fusion-Instanz verwenden.

Nächste Schritte