Auf dieser Seite wird beschrieben, wie Sie eine Cloud Data Fusion-Instanz mit einer internen IP-Adresse erstellen. Sie erstellen die Instanz in einem VPC-Netzwerk oder ein Freigegebenes VPC-Netzwerk
Eine private Cloud Data Fusion-Instanz hat folgende Vorteile:
Verbindungen zur Instanz werden über eine in Ihrem Google Cloud-Projekt. Der Traffic über das Netzwerk wird nicht über das öffentliche Internet geleitet.
Die Instanz kann über Cloud VPN oder Cloud Interconnect mit Ihrem lokalen Netzwerk, z. B. relationale Datenbanken, eine Verbindung zu Ihren lokalen Ressourcen herstellen. Sie können über das private Netzwerk sicher auf Ihre lokalen Ressourcen wie Datenbanken zugreifen, ohne diesen den Zugriff auf Google Cloud zu ermöglichen.
Lernziele
- Richten Sie das VPC-Netzwerk oder das freigegebene VPC-Netzwerk ein.
- Weisen Sie einen IP-Bereich zu, der zum Bereitstellen der Cloud Data Fusion-Instanz im Mandantenprojekt verwendet wird.
- Erstellen Sie die private Cloud Data Fusion-Instanz.
- Richten Sie das VPC-Netzwerk-Peering zwischen der VPC ein, enthält die Cloud Data Fusion-Instanz und die VPC, enthält das zugehörige Mandantenprojekt.
- Richten Sie für freigegebene VPC-Netzwerke Identity and Access Management (IAM) ein Berechtigungen.
- Wenn Ihre private Instanz Cloud Data Fusion Version 6.2.0 oder niedriger verwendet, erstellen Sie eine Firewallregel.
- Sie können verschiedene Google Cloud-Dienste intern miteinander kommunizieren lassen, indem Sie den privaten Google-Zugriff im Dataproc-Subnetz aktivieren.
Hinweise
- Informationen zur Bereitstellungsarchitektur von Cloud Data Fusion finden Sie unter Netzwerke.
VPC-Netzwerk einrichten
Erstellen Sie ein VPC-Netzwerk, falls noch nicht geschehen. oder ein freigegebenes VPC-Netzwerk.
Zum Einrichten Ihres VPC-Netzwerks müssen Sie einen IP-Adressbereich zuweisen.
IP-Bereich zuweisen
VPC-Netzwerk
Wenn Sie kein freigegebenes VPC-Netzwerk verwenden, weist Cloud Data Fusion beim Erstellen einer Instanz standardmäßig einen IP-Bereich zu.
Freigegebenes VPC-Netzwerk
Wenn Sie eine freigegebene VPC verwenden möchten, müssen Sie eine IP-Adresse zuweisen für Ihre Cloud Data Fusion-Instanz.
So weisen Sie Ihrer Cloud Data Fusion-Instanz einen IP-Bereich zu: diese Schritte:
Rufen Sie in der Google Cloud Console die Seite VPC-Netzwerke auf.
Klicken Sie in der Spalte Name auf das VPC-Netzwerk, in dem Sie eine private Cloud Data Fusion-Instanz erstellen möchten.
Die Seite VPC-Netzwerkdetails wird geöffnet.
Klicken Sie auf Private Dienstverbindung. Aktivieren Sie bei entsprechender Aufforderung die Service Networking API, indem Sie auf API aktivieren klicken.
Klicken Sie auf IP-Bereich zuweisen.
Geben Sie einen Namen für den IP-Bereich ein.
Klicken Sie unter IP-Bereich auf Automatisch.
Geben Sie eine Präfixgröße von
22
an.Klicken Sie auf Zuweisen.
Private Instanz erstellen
Private Cloud Data Fusion-Instanz in einer VPC erstellen oder einem freigegebene VPC-Netzwerk.
VPC-Netzwerk
Um die Instanz in einem VPC-Netzwerk zu erstellen, verwenden Sie entweder die Google Cloud Console oder cURL.
Wenn Sie die private Instanz mit der Google Cloud Console erstellen, weist Cloud Data Fusion standardmäßig den /22
-IP-Adressbereich zu. Bis
einen anderen IP-Bereich wählen, müssen Sie den cURL-Befehl verwenden.
Console
Rufen Sie die Seite Data Fusion-Instanz erstellen auf.
Geben Sie einen Instanznamen und eine Beschreibung für die Instanz ein.
Wählen Sie die Region aus, in der die Instanz erstellt werden soll.
Wählen Sie eine Cloud Data Fusion-Version und Version:
Geben Sie die Dataproc-Dienstkonto zum Ausführen Ihrer Cloud Data Fusion-Pipeline in Dataproc nutzen. Die Compute Engine-Standardversion vorausgewählt.
Maximieren Sie das Menü Erweiterte Optionen und klicken Sie auf Private IP-Adresse aktivieren.
Wählen Sie im Feld Netzwerk das Netzwerk aus, in dem das Netzwerk erstellt werden soll. Instanz.
Klicken Sie auf Erstellen. Es kann bis zu 30 Minuten dauern, bis die Instanz erstellt ist.
cURL
Zur Vereinfachung können Sie die folgenden Variablen exportieren oder diese Werte direkt in die folgenden Befehle einsetzen:
export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com
Rufen Sie zum Erstellen der Instanz deren
create()
:
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'
Ersetzen Sie Folgendes:
INSTANCE_ID
: Der ID-String, den die neue Instanz erhalten soll.NETWORK_NAME
: Der Name des VPC-Netzwerk, in dem Sie Ihr privates Netzwerk erstellen möchten Instanz.IP_RANGE
: Der zugewiesene IP-Bereich. Um den IP-Bereich in der Rufen Sie in der Google Cloud Console die VPC-Netzwerkdetails auf. > Private Dienstverbindung > Interner IP-Bereich
Freigegebenes VPC-Netzwerk
Verwenden Sie cURL, um Ihre Instanz in einem freigegebenen VPC-Netzwerk zu erstellen.
cURL
Zur Vereinfachung können Sie die folgenden Variablen exportieren. Alternativ können Sie diese Werte im folgenden Beispiel direkt durch Befehle:
export PROJECT=PROJECT_ID export LOCATION=REGION export DATA_FUSION_API_NAME=datafusion.googleapis.com
Rufen Sie zum Erstellen der Instanz die Methode create()
auf:
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/SHARED_VPC_HOST_PROJECT_ID/global/networks/NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'
Ersetzen Sie Folgendes:
INSTANCE_ID
: Der ID-String, den die neue Instanz erhalten soll.SHARED_VPC_HOST_PROJECT_ID
: Die ID des das das freigegebene VPC-Netzwerk hostet.NETWORK_NAME
: Der Name des VPC-Netzwerk, in dem Sie das private Netzwerk erstellen möchten Instanz.IP_RANGE
: Zugewiesener IP-Bereich Sie finden den IP-Bereich in der Google Cloud Console auf der Seite VPC-Netzwerkdetails > Private Dienstverbindung > Interner IP-Bereich.
VPC-Netzwerk-Peering einrichten
Cloud Data Fusion-Dienste, die Sie in Ihrem Designumgebung (z. B. Wrangler, Connection Manager und Schema Validation) initiieren Netzwerkverbindungen von der VPC des Mandantenprojekts zur Quelle Systeme. Cloud Data Fusion nutzt VPC-Netzwerk-Peering zum Einrichten eines Netzwerks Verbindung zur VPC oder zur freigegebene VPC herstellen, die Ihr Instanz. Durch das VPC-Netzwerk-Peering kann Cloud Data Fusion auf Ressourcen in Ihrem Netzwerk über interne IP-Adressen und Ihre eigenen VPC und ihre Steuerelemente So stellen Sie eine Verbindung zu einer Ressource in einer anderen her: finden Sie unter Anwendungsfälle für Verbindungen.
Im folgenden Abschnitt wird beschrieben, wie Sie eine Peering-Konfiguration zwischen Ihrem Netzwerk und dem Netzwerk des Cloud Data Fusion-Mandantenprojekts erstellen.
Mandanten-Projekt-ID abrufen
Sie benötigen die Mandantenprojekt-ID, um eine Peering-Konfiguration zu erstellen.
Rufen Sie die Seite Cloud Data Fusion-Seite Instanzen auf.
Wählen Sie in der Spalte Instanzname die Instanz aus.
Kopieren Sie auf der Seite Instanzdetails die Mandantenprojekt-ID. erforderlich, wenn Sie in den folgenden Schritten eine Peering-Verbindung erstellen.
Peering-Verbindung erstellen
Rufen Sie die Seite VPC-Netzwerk-Peering auf.
Klicken Sie auf Verbindung erstellen > Weiter.
Führen Sie auf der Seite Peering-Verbindung erstellen die folgenden Schritte aus:
- Geben Sie einen Namen für die Peering-Verbindung ein.
- Wählen Sie unter Mein VPC-Netzwerk das Netzwerk aus, das Ihre Cloud Data Fusion-Instanz.
- Wählen Sie für Peering-VPC-Netzwerk die Option In einem anderen Projekt aus.
- Geben Sie für Projekt-ID die Mandantenprojekt-ID, die Sie zuvor gefunden haben dieser Anleitung.
Wählen Sie unter VPC-Netzwerkname ein Netzwerk aus oder geben Sie INSTANCE_REGION-INSTANCE_ID ein.
Ersetzen Sie Folgendes:
- INSTANCE_REGION: die Region, in der Sie Ihren erstellt haben Cloud Data Fusion-Instanz.
- INSTANCE_ID: die ID Ihrer Cloud Data Fusion-Instanz.
Wählen Sie die Internet Protocol-Version für die Peering-Verbindung aus. IPv4- und IPv6-Routen zwischen Ihrem VPC-Netzwerk und das Peering-VPC-Netzwerk. Weitere Informationen finden Sie unter VPC-Netzwerk-Peering.
Wählen Sie Benutzerdefinierte Routen exportieren aus, damit benutzerdefinierte Routen erstellt werden. können aus Ihrem VPC-Netzwerk auf den Mandanten exportiert werden. VPC-Netzwerk.
Legen Sie fest, ob Subnetzrouten mit öffentlicher IPv4-Adresse in Ihr VPC-Netzwerk importiert oder daraus exportiert werden dürfen.
Klicken Sie auf Erstellen.
Das VPC-Netzwerk-Peering wird kurz nach seiner Erstellung aktiv.
IAM-Berechtigungen einrichten
VPC-Netzwerk
Überspringen Sie diesen Schritt und fahren Sie mit Firewallregel erstellen fort.
Freigegebenes VPC-Netzwerk
Wenn Sie Ihre Cloud Data Fusion-Instanz in einer freigegebene VPC erstellen müssen Sie die Rolle Compute-Netzwerknutzer gewähren. zu den folgenden Dienstkonten. Wenn Sie Berechtigungen für alle Subnetze erteilen möchten, gewähren Sie die Rolle dem Hostprojekt der freigegebenen VPC.
Wenn Sie den Zugriff weiter steuern möchten, weisen Sie die Rolle stattdessen einem bestimmten Subnetz zu. die Rolle Netzwerkbetrachter für das Hostprojekt.
- Cloud Data Fusion-Dienstkonto:
service-PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com
- Dataproc-Dienstkonto:
service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com
PROJECT_NUMBER
ist die Zahl der
Google Cloud-Projekt, das Cloud Data Fusion enthält
Instanz.
Weitere Informationen finden Sie unter Zugriff auf die erforderlichen Dienstkonten gewähren.
Firewallregel erstellen
Erstellen Sie eine Firewallregel für Ihr VPC-Netzwerk, die eingehende SSH-Verbindungen aus dem IP-Bereich zulässt, den Sie bei der Erstellung Ihrer privaten Cloud Data Fusion-Instanz angegeben haben.
Dieser Schritt ist für Cloud Data Fusion-Versionen vor 6.2.0 erforderlich. Sie ermöglicht die Kommunikation zwischen Cloud Data Fusion und Dataproc-Clustern, in denen Pipelines ausgeführt werden.
Sie können die Firewallregel mit der Google Cloud Console oder mit gcloud erstellen.
Console
Weitere Informationen finden Sie unter Firewallregeln erstellen.
gcloud
Führen Sie dazu diesen Befehl aus:
gcloud compute firewall-rules create FIREWALL_NAME-allow-ssh --allow=tcp:22 --source-ranges=IP_RANGE --network=NETWORK_NAME --project=PROJECT_ID
Ersetzen Sie Folgendes:
FIREWALL_NAME
: Der Name der zu erstellenden Firewallregel.IP_RANGE
: Der IP-Bereich, den Sie Zugewiesen.NETWORK_NAME
: Der Name des Netzwerks, an das an die Firewallregel angehängt ist. Das ist der Name des VPC-Netzwerks, in dem Sie die private Instanz erstellt haben.PROJECT_ID
: die ID des Projekts Auf dem VPC-Netzwerk.
Schritte für Anwendungsfälle der Verbindung
In den folgenden Abschnitten werden verbindungsbezogene Anwendungsfälle für private Instanzen beschrieben.
Privaten Google-Zugriff aktivieren
Damit über interne IP-Adressen auf Ressourcen zugegriffen werden kann, müssen die Dataproc-Cluster in Cloud Data Fusion erstellt und die Datenpipelines in einem Subnetz mit privatem Google-Zugriff ausgeführt werden. Sie müssen den privaten Google-Zugriff für das Subnetz aktivieren, das die Dataproc-Cluster enthält.
- Wenn in der Region, in der sich die Dataproc-Schnittstelle nur ein Subnetz befindet, nur ein Subnetz vorhanden ist Cluster gestartet werden, wird der Cluster in diesem Subnetz gestartet.
Wenn in einer Region mehrere Subnetze vorhanden sind, müssen Sie Cloud Data Fusion so konfigurieren, dass das Subnetz mit privatem Google-Zugriff zum Starten von Dataproc-Clustern ausgewählt wird.
Informationen zum Aktivieren des privaten Google-Zugriffs für das Subnetz finden Sie unter Privaten Google-Zugriff konfigurieren.
Optional: Verbindung zu anderen Quellen herstellen
Nachdem Sie eine private Instanz in Cloud Data Fusion erstellt haben, können Sie eine Verbindung zu anderen Quellen herstellen, z. B. für die folgenden Anwendungsfälle:
- Lokale Datenbanken und Systeme, die in anderen VPC-Netzwerken ausgeführt werden
- Andere Google Cloud-Dienste, die im privaten Modus in ihrem eigenen Netzwerk ausgeführt werden, z. B. Cloud SQL
- Quellen im öffentlichen Internet
Optional: DNS-Peering aktivieren
Aktivieren Sie das DNS-Peering in den folgenden Fällen:
- Wenn Cloud Data Fusion eine Verbindung zu Systemen über Hostnamen und nicht über IP-Adressen herstellt
- Wenn das Zielsystem hinter einem Load-Balancer bereitgestellt wird, z. B. in einige SAP-Bereitstellungen
Nächste Schritte
- Informationen zu Sicherheitskonzepten in Cloud Data Fusion
- Verbindung zu Ressourcen in externen Netzwerken herstellen
- Informationen über die wichtigsten Konzepte und Features von Cloud Data Fusion.
- Preise für Cloud Data Fusion