Private Instanz mit VPC-Peering erstellen

Auf dieser Seite wird beschrieben, wie Sie eine Cloud Data Fusion-Instanz mit einem interne IP-Adresse. Sie erstellen die Instanz in einem VPC-Netzwerk oder ein Freigegebenes VPC-Netzwerk

Hinweis: Ab Cloud Data Fusion 6.10.0 empfiehlt es sich, private Instanzen mit Private Service Connect nicht mit VPC-Netzwerk-Peering.

Eine private Cloud Data Fusion-Instanz hat folgende Vorteile:

• Verbindungen zur Instanz werden über eine privaten VPC-Netzwerk in Ihrem Google Cloud-Projekt. Traffic über das Netzwerk läuft nicht über das öffentliche Internet.

• Die Instanz kann eine Verbindung zu Ihren lokalen Ressourcen herstellen, z. B. zu relationalen Ressourcen Datenbanken, weil Ihr lokales Netzwerk eine Verbindung Privates VPC-Netzwerk von Google Cloud über Cloud VPN oder Cloud Interconnect: Sie können sicher auf Ihre lokalen Ressourcen wie Datenbanken über ohne Zugriff auf Google Cloud zu gewähren.

Lernziele

• Richten Sie das VPC-Netzwerk oder das freigegebene VPC-Netzwerk ein.
• IP-Bereich für die Bereitstellung von Cloud Data Fusion zuweisen im Mandantenprojekt.
• Erstellen Sie die private Cloud Data Fusion-Instanz.
• Richten Sie das VPC-Netzwerk-Peering zwischen der VPC ein, enthält die Cloud Data Fusion-Instanz und die VPC, enthält das zugehörige Mandantenprojekt.
• Richten Sie für freigegebene VPC-Netzwerke Identity and Access Management (IAM) ein Berechtigungen.
• Wenn Ihre private Instanz Cloud Data Fusion Version 6.2.0 oder erstellen Sie eine Firewallregel.
• Verschiedenen Google Cloud-Diensten ermöglichen, intern miteinander zu kommunizieren indem Sie den privater Google-Zugriff Dataproc-Subnetz.

Hinweise

• Informationen zur Bereitstellungsarchitektur von Cloud Data Fusion finden Sie unter Netzwerke.

VPC-Netzwerk einrichten

Erstellen Sie ein VPC-Netzwerk, falls noch nicht geschehen. oder ein freigegebenes VPC-Netzwerk.

Zum Einrichten Ihres VPC-Netzwerk müssen Sie eine IP-Adresse zuweisen Bereich.

IP-Bereich zuweisen

VPC-Netzwerk

Wenn Sie kein freigegebene VPC-Netzwerk verwenden, Cloud Data Fusion weist standardmäßig einen IP-Bereich zu, wenn Sie eine Instanz.

Hinweis: Wenn Sie kein freigegebene VPC-Netzwerk verwenden, überspringen Sie diesen Schritt. und gehen Sie zu Private Instanz erstellen.

Freigegebenes VPC-Netzwerk

Hinweis: Führen Sie diese Schritte nur aus, wenn Sie ein freigegebene VPC-Netzwerk verwenden.

Wenn Sie eine freigegebene VPC verwenden möchten, müssen Sie eine IP-Adresse zuweisen für Ihre Cloud Data Fusion-Instanz.

So weisen Sie Ihrer Cloud Data Fusion-Instanz einen IP-Bereich zu: diese Schritte:

1. Rufen Sie in der Google Cloud Console die Seite VPC-Netzwerke auf.

   Zur Seite VPC-Netzwerke

2. Klicken Sie in der Spalte Name auf das VPC-Netzwerk, in dem Sie eine private Cloud Data Fusion-Instanz erstellen möchten.

   Die Seite VPC-Netzwerkdetails wird geöffnet.

3. Klicken Sie auf Private Dienstverbindung. Aktivieren Sie die Service Networking API hinzu, indem Sie auf API aktivieren klicken.

   

4. Klicken Sie auf IP-Bereich zuweisen.

   1. Geben Sie einen Namen für den IP-Bereich ein.

   2. Klicken Sie für IP-Bereich auf Automatisch.

      Hinweis: Bei benutzerdefinierten Bereichen unterstützt Cloud Data Fusion gültige privaten IPv4-Adressbereichen einschließlich IP-Bereichen außerhalb von RFC 1918. Privates wird nicht unterstützt verwendeten externen IP-Adressbereichen. Diese Bereichszuweisung hat keine aus einem Ihrer Subnetze verwenden, aber es darf sich nicht überschneiden, bei zukünftigen Bereichszuweisungen.

   3. Geben Sie eine Präfixgröße von 22 an.

      Hinweis: Der IP-Bereich /22 ist pro Cloud Data Fusion erforderlich. Instanz und kann nicht von mehreren Instanzen gemeinsam genutzt werden. Der IP-Bereich gehört zu Google Cloud und ist der Ort, an dem die zugrunde liegende Instanz Komponenten und Infrastruktur gehostet werden.

   4. Klicken Sie auf Zuweisen.

      

Private Instanz erstellen

Private Cloud Data Fusion-Instanz in einer VPC erstellen oder einem freigegebene VPC-Netzwerk.

Achtung :Nachdem Sie eine Cloud Data Fusion-Instanz erstellt haben, können Sie seine Version ändern.

VPC-Netzwerk

Um die Instanz in einem VPC-Netzwerk zu erstellen, verwenden Sie entweder die Google Cloud Console oder cURL.

Wenn Sie Ihre private Instanz mit der Google Cloud Console erstellen, Cloud Data Fusion weist standardmäßig den IP-Adressbereich /22 zu. Bis einen anderen IP-Bereich wählen, müssen Sie den cURL-Befehl verwenden.

Console

1. Rufen Sie die Seite Data Fusion-Instanz erstellen auf.

   <ph type="x-smartling-placeholder"></ph> Zur Seite „Data Fusion-Instanz erstellen“

2. Geben Sie einen Instanznamen und eine Beschreibung für die Instanz ein.

3. Wählen Sie die Region aus, in der die Instanz erstellt werden soll.

4. Wählen Sie eine Cloud Data Fusion-Version und Version:

5. Geben Sie die Dataproc-Dienstkonto zum Ausführen Ihrer Cloud Data Fusion-Pipeline in Dataproc nutzen. Die Compute Engine-Standardversion vorausgewählt.

   Hinweis: Sie müssen die entsprechenden Identity and Access Management-Rollen für das Dienstkonto. Weitere Informationen finden Sie unter Dienstkontonutzerberechtigungen gewähren

6. Maximieren Sie das Menü Erweiterte Optionen und klicken Sie auf Private IP-Adresse aktivieren.

7. Wählen Sie im Feld Netzwerk das Netzwerk aus, in dem das Netzwerk erstellt werden soll. Instanz.

8. Klicken Sie auf Erstellen. Es kann bis zu 30 Minuten dauern, bis die Instanz erstellt ist.

   Hinweis: Während Cloud Data Fusion die Instanz erstellt, wird neben dem Instanznamen auf der SeiteInstanzen ein Radsymbol angezeigt, das den Fortschritt angibt. Danach wird ein grünes Häkchen angezeigt, damit Sie die Instanz verwenden können.

cURL

Um Ihnen die Arbeit zu erleichtern, können Sie die folgenden Variablen exportieren oder ersetzen Sie diese Werte direkt durch die folgenden Befehle:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Rufen Sie zum Erstellen der Instanz deren create() :

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

Ersetzen Sie Folgendes:

• INSTANCE_ID: Der ID-String, den die neue Instanz erhalten soll.
• NETWORK_NAME: Der Name des VPC-Netzwerk, in dem Sie Ihr privates Netzwerk erstellen möchten Instanz.
• IP_RANGE: die IP Bereich, den Sie zugewiesen haben. Um den IP-Bereich in der Rufen Sie in der Google Cloud Console die VPC-Netzwerkdetails auf. &gt; Private Dienstverbindung &gt; Interner IP-Bereich

Freigegebenes VPC-Netzwerk

Wenn Sie Ihre Instanz in einem freigegebene VPC-Netzwerk erstellen möchten, verwenden Sie cURL und nicht das Google Cloud Console

cURL

Um Ihnen die Arbeit zu erleichtern, können Sie die folgenden Variablen exportieren. Alternativ können Sie diese Werte im folgenden Beispiel direkt durch Befehle:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

Rufen Sie zum Erstellen der Instanz deren create() auf. :

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/SHARED_VPC_HOST_PROJECT_ID/global/networks/NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

Ersetzen Sie Folgendes:

• INSTANCE_ID: Der ID-String, den die neue Instanz erhalten soll.
• SHARED_VPC_HOST_PROJECT_ID: Die ID des das das freigegebene VPC-Netzwerk hostet.
• NETWORK_NAME: Der Name des VPC-Netzwerk, in dem Sie das private Netzwerk erstellen möchten Instanz.
• IP_RANGE: Zugewiesener IP-Bereich Den IP-Bereich finden Sie in der Google Cloud Console unter Seite VPC-Netzwerkdetails &gt; Private Dienstverbindung &gt; Interner IP-Bereich:

Hinweis: Sie können keinen IP-Bereich verwenden, der einer anderen Google Cloud zugewiesen ist . Es muss sich um denselben IP-Bereich handeln, der im vorherigen

Hinweis: Wenn Sie ein freigegebene VPC-Netzwerk verwenden, wird der Name des VPC-Netzwerk-Peering, das zwischen Ihrem Projekt und dem Das Mandantenprojekt ist eine Kombination aus einem VPC-Netzwerknamen und einem Instanznamen. Die Länge des VPC-Netzwerk-Peering-Namens darf nicht ist länger als 63 Zeichen.

VPC-Netzwerk-Peering einrichten

Wichtiger Hinweis: Ihre Cloud Data Fusion-Instanz wird in einer eigenen VPC-Netzwerk und eventuell müssen Sie VPC-Netzwerk-Peering einrichten, Stellen Sie eine Verbindung zur Quelle und Senke her, die Sie in Ihrer Pipeline verwenden.

Cloud Data Fusion-Dienste, die Sie in Ihrem Designumgebung (z. B. Wrangler, Connection Manager und Schema Validation) initiieren Netzwerkverbindungen von der VPC des Mandantenprojekts zur Quelle Systeme. Cloud Data Fusion nutzt VPC-Netzwerk-Peering zum Einrichten eines Netzwerks zur VPC oder zur freigegebene VPC, die Ihr Instanz. Durch das VPC-Netzwerk-Peering kann Cloud Data Fusion auf Ressourcen in Ihrem Netzwerk über interne IP-Adressen und Ihre eigenen VPC und ihre Steuerelemente So stellen Sie eine Verbindung zu einer Ressource in einer anderen her: finden Sie unter Anwendungsfälle für Verbindungen.

Im folgenden Abschnitt wird beschrieben, wie Sie Erstellen Sie eine Peering-Konfiguration. zwischen Ihrem Netzwerk und Cloud Data Fusion Mandantenprojekt Netzwerk.

Mandantenprojekt-ID abrufen

Zum Erstellen einer Peering-Konfiguration benötigen Sie die Mandantenprojekt-ID

1. Rufen Sie die Seite Cloud Data Fusion-Seite Instanzen auf.

   Zur Seite „Instanzen“

2. Wählen Sie in der Spalte Instanzname die Instanz aus.

3. Kopieren Sie auf der Seite Instanzdetails die Mandantenprojekt-ID. erforderlich, wenn Sie in den folgenden Schritten eine Peering-Verbindung erstellen.

Peering-Verbindung erstellen

1. Rufen Sie die Seite VPC-Netzwerk-Peering auf.

   Zum VPC-Netzwerk-Peering

2. Klicken Sie auf Verbindung erstellen > Weiter.

3. Führen Sie auf der Seite Peering-Verbindung erstellen die folgenden Schritte aus:

   1. Geben Sie einen Namen für die Peering-Verbindung ein.
   2. Wählen Sie unter Mein VPC-Netzwerk das Netzwerk aus, das Ihre Cloud Data Fusion-Instanz.
   3. Wählen Sie für Peering-VPC-Netzwerk die Option In einem anderen Projekt aus.
   4. Geben Sie für Projekt-ID die Mandantenprojekt-ID, die Sie zuvor gefunden haben dieser Anleitung.

   5. Wählen Sie unter VPC-Netzwerkname ein Netzwerk aus oder geben Sie INSTANCE_REGION–INSTANCE_ID.

      Ersetzen Sie Folgendes:

      • INSTANCE_REGION: die Region, in der Sie Ihren erstellt haben Cloud Data Fusion-Instanz.
      • INSTANCE_ID: die ID Ihrer Cloud Data Fusion-Instanz.
      Hinweis: Bei der Erstellung der Instanz wird ein VPC-Netzwerk namens INSTANCE_REGION-INSTANCE_ID wird erstellt in: Mandantenprojekts. Die private Cloud Data Fusion-Instanz wird bereitgestellt in dieser VPC. Dieses Netzwerk ist bereits mit dem Konfiguration für das Peering mit der VPC Ihres Kundenprojekts.

   6. Wählen Sie die Internet Protocol-Version für die Peering-Verbindung aus. IPv4- und IPv6-Routen zwischen Ihrem VPC-Netzwerk und das Peering-VPC-Netzwerk. Weitere Informationen finden Sie unter VPC-Netzwerk-Peering

   7. Wählen Sie Benutzerdefinierte Routen exportieren aus, damit benutzerdefinierte Routen erstellt werden. können aus Ihrem VPC-Netzwerk zum Mandanten exportiert werden, VPC-Netzwerk.

   8. Legen Sie fest, ob Subnetzrouten mit öffentlicher IPv4-Adresse importiert werden dürfen oder in Ihr VPC-Netzwerk exportiert.

   9. Klicken Sie auf Erstellen.

   Das VPC-Netzwerk-Peering wird kurz nach seiner Erstellung aktiv.

IAM-Berechtigungen einrichten

VPC-Netzwerk

Überspringen Sie diesen Schritt und fahren Sie mit Firewallregel erstellen fort.

Freigegebenes VPC-Netzwerk

Wenn Sie Ihre Cloud Data Fusion-Instanz in einer freigegebene VPC erstellen müssen Sie die Rolle Compute-Netzwerknutzer gewähren. zu den folgenden Dienstkonten. Um Berechtigungen für alle Subnetze zu erteilen, gewähren Sie die Rolle für das freigegebene VPC-Hostprojekt.

Wenn Sie den Zugriff weiter steuern möchten, weisen Sie die Rolle stattdessen einem bestimmten Subnetz zu. die Rolle Netzwerkbetrachter für das Hostprojekt.

• Cloud Data Fusion-Dienstkonto: [e-mail]
• Dataproc-Dienstkonto: [e-mail]

PROJECT_NUMBER ist die Zahl der Google Cloud-Projekt, das Cloud Data Fusion enthält Instanz.

Weitere Informationen finden Sie unter Zugriff gewähren. mit den erforderlichen Dienstkonten.

Firewallregel erstellen

Erstellen Sie eine Firewallregel für Ihr VPC-Netzwerk, die eingehende SSH-Verbindungen aus dem IP-Bereich zulässt, den Sie bei der Erstellung Ihrer privaten Cloud Data Fusion-Instanz angegeben haben.

Dieser Schritt ist für Cloud Data Fusion-Versionen vor 6.2.0 erforderlich. Es ermöglicht die Kommunikation zwischen Cloud Data Fusion und Dataproc Cluster, die Pipelines ausführen

Sie können die Firewallregel über die Google Cloud Console erstellen oder über die gcloud CLI

Console

Weitere Informationen finden Sie unter Firewallregeln erstellen.

gcloud

Führen Sie dazu diesen Befehl aus:

gcloud compute firewall-rules create FIREWALL_NAME-allow-ssh --allow=tcp:22 --source-ranges=IP_RANGE --network=NETWORK_NAME --project=PROJECT_ID

Ersetzen Sie Folgendes:

• FIREWALL_NAME: Der Name der Firewallregel, für die erstellen.
• IP_RANGE: Der IP-Bereich, den Sie Zugewiesen.
• NETWORK_NAME: Der Name des Netzwerks, an das an die Firewallregel angehängt ist. Das ist der Name der VPC. Netzwerk, in dem Sie die private Instanz erstellt haben.
• PROJECT_ID: die ID des Projekts Auf dem VPC-Netzwerk.

Schritte für Anwendungsfälle der Verbindung

In den folgenden Abschnitten werden verbindungsbezogene Anwendungsfälle für private Instanzen.

Privaten Google-Zugriff aktivieren

Für den Zugriff auf Ressourcen über interne IP-Adressen: Cloud Data Fusion muss die Dataproc-Cluster erstellen und ausführen die Datenpipelines in einem Subnetz mit privater Google-Zugriff. Du musst den privater Google-Zugriff für das Subnetz zu aktivieren, das die Dataproc-Cluster

• Wenn in der Region, in der sich die Dataproc-Schnittstelle nur ein Subnetz befindet, nur ein Subnetz vorhanden ist Cluster gestartet werden, wird der Cluster in diesem Subnetz gestartet.

• Wenn es in einer Region mehrere Subnetze gibt, müssen Sie Cloud Data Fusion das Subnetz mit Privater Google-Zugriff zum Starten von Dataproc-Clustern.

  Achtung :Wenn der private Google-Zugriff in diesem Subnetz nicht aktiviert ist, Pipelineausführung schlägt fehl. So geben Sie das Subnetz nach dem Erstellen einer Instanz an: das Compute-Profil bearbeiten.

Informationen zum Aktivieren des privater Google-Zugriff für das Subnetz finden Sie unter Konfiguration des privaten Google-Zugriffs.

Optional: Verbindung zu anderen Quellen herstellen

Nachdem Sie eine private Instanz in Cloud Data Fusion erstellt haben, können Sie eine Verbindung auf andere Quellen übertragen, z. B. in den folgenden Anwendungsfällen:

• Lokale Datenbanken und Systeme, die in anderen VPC-Netzwerken ausgeführt werden
• Andere Google Cloud-Dienste, die in ihrem eigenen Netzwerk im privaten Modus ausgeführt werden, z. B. Cloud SQL
• Quellen im öffentlichen Internet

Optional: DNS-Peering aktivieren

Aktivieren Sie DNS-Peering in der folgenden Fällen:

• Wenn Cloud Data Fusion über Hostnamen und nicht über IP eine Verbindung zu Systemen herstellt Adressen
• Wenn das Zielsystem hinter einem Load-Balancer bereitgestellt wird, z. B. in einige SAP-Bereitstellungen

Nächste Schritte

• Sicherheitskonzepte in Cloud Data Fusion
• Verbindung zu Ressourcen in externen Netzwerken herstellen
• Informationen über die wichtigsten Konzepte und Features von Cloud Data Fusion.
• Preise für Cloud Data Fusion