Private Instanz mit Private Service Connect erstellen

Auf dieser Seite wird beschrieben, wie Sie Private Service Connect in Cloud Data Fusion konfigurieren.

Private Service Connect in Cloud Data Fusion

Cloud Data Fusion-Instanzen müssen möglicherweise eine Verbindung zu Ressourcen herstellen, die sich lokal, auf Google Cloudoder bei anderen Cloud-Anbietern befinden. Wenn Sie Cloud Data Fusion mit internen IP-Adressen verwenden, werden Verbindungen zu externen Ressourcen über ein VPC-Netzwerk (Virtual Private Cloud) in IhremGoogle Cloud -Projekt hergestellt. Der Traffic über das Netzwerk wird nicht über das öffentliche Internet geleitet. Wenn Cloud Data Fusion über VPC-Peering Zugriff auf Ihr VPC-Netzwerk gewährt wird, gibt es Einschränkungen, die bei der Verwendung von Netzwerken im großen Maßstab deutlich werden.

Über Private Service Connect-Schnittstellen verbindet sich Cloud Data Fusion ohne VPC-Peering mit Ihrer VPC. Eine Private Service Connect-Schnittstelle ist eine Art Private Service Connect, die es Cloud Data Fusion ermöglicht, private und sichere Verbindungen zu Nutzer-VPC-Netzwerken herzustellen. Dies bietet nicht nur Flexibilität und einfachen Zugriff (wie VPC-Peering), sondern auch explizite Autorisierung und verbraucherseitige Kontrolle, die Private Service Connect bietet.

Das folgende Diagramm zeigt, wie die Private Service Connect-Benutzeroberfläche in Cloud Data Fusion bereitgestellt wird:

Bereitstellung der Private Service Connect-Schnittstelle

Abbildung 1. Bereitstellung der Private Service Connect-Schnittstelle

Beschreibung von Abbildung 1:

  • Die virtuellen Maschinen (VMs), auf denen Cloud Data Fusion ausgeführt wird, werden in einem Mandantenprojekt von Google gehostet. Für den Zugriff auf Ressourcen im VPC des Kunden verwenden Cloud Data Fusion-VMs die IP-Adresse, die der Netzwerkschnittstelle von Private Service Connect aus dem Subnetz des Kunden zugewiesen wurde. Dieses Subnetz wird dem von Cloud Data Fusion verwendeten Netzwerkanhang hinzugefügt.

  • IP-Pakete, die von der Private Service Connect-Schnittstelle stammen, werden ähnlich wie Pakete von einer VM im selben Subnetz behandelt. Mit dieser Konfiguration kann Cloud Data Fusion direkt auf Ressourcen in der Kunden-VPC oder einer Peer-VPC zugreifen, ohne dass ein Proxy erforderlich ist.

  • Internetressourcen sind zugänglich, wenn Cloud NAT in der VPC des Kunden aktiviert ist. Lokale Ressourcen sind über ein Interconnect erreichbar.

  • Sie können Firewallregeln implementieren, um den ein- oder ausgehenden Traffic von Private Service Connect zu verwalten.

Hauptvorteile

Die wichtigsten Vorteile der Verwendung von Cloud Data Fusion mit Private Service Connect:

  • Bessere Kontrolle des IP-Adressbereichs Sie steuern die IP-Adressen, über die Cloud Data Fusion eine Verbindung zu Ihrem Netzwerk herstellt. Sie wählen die Subnetze aus, aus denen die IP-Adressen Cloud Data Fusion zugewiesen werden. Der gesamte Traffic von Cloud Data Fusion hat eine Quell-IP-Adresse aus Ihrem konfigurierten Subnetz.

    Mit Private Service Connect sind keine reservierten IP-Adressen aus einem Kunden-VPC mehr erforderlich. Für das VPC-Peering ist ein /22-CIDR-Block (1.024 IP-Adressen) pro Cloud Data Fusion-Instanz erforderlich.

  • Verbesserte Sicherheit und Isolierung Wenn Sie eine Netzwerkverbindung konfigurieren, steuern Sie, welche Dienste auf Ihr Netzwerk zugreifen können.

  • Einfachere Einrichtung von Cloud Data Fusion-Instanzen Erstellen Sie nur einmal eine Netzwerkverbindung pro Kunden-VPC. Es sind keine Proxy-VMs erforderlich, um eine Verbindung zu Ressourcen im Internet, zu Peer-VPCs oder zu lokalen Ressourcen herzustellen.

Wichtige Konzepte

In diesem Abschnitt werden die Konzepte erläutert, die mit Private Service Connect in Cloud Data Fusion verbunden sind.

Netzwerkanhang

Ein Netzwerkanhang ist eine regionale Ressource, mit der Cloud Data Fusion dazu autorisiert wird, Netzwerkverbindungen privat zu verwenden und herzustellen, um auf Ressourcen in Ihrer VPC zuzugreifen. Weitere Informationen finden Sie unter Netzwerkanhänge.

Freigegebene VPC

Im Folgenden finden Sie einen Anwendungsfall für Private Service Connect-Schnittstellen mit Shared VPC:

  • Das Netzwerk- oder das Infrastrukturteam ist für die Subnetze in einem Hostprojekt verantwortlich. So können die Anwendungsteams diese Subnetze aus ihrem Dienstprojekt verwenden.

  • Die Anwendungsteams sind für die Netzwerkanhänge in einem Dienstprojekt verantwortlich. Mit der Netzwerkverknüpfung wird festgelegt, welche Cloud Data Fusion-Mandantenprojekte eine Verbindung zu den mit der Netzwerkverknüpfung verknüpften Subnetzwerken herstellen können.

Sie können einen Netzwerkanhang in einem Dienstprojekt erstellen. Die in einer Netzwerkverbindung verwendeten Subnetze können sich nur im Hostprojekt befinden.

Das folgende Diagramm veranschaulicht diesen Anwendungsfall:

Anwendungsfall für Private Service Connect-Schnittstellen mit freigegebener VPC

Abbildung 2. Anwendungsfall für Private Service Connect-Schnittstellen mit freigegebener VPC

Beschreibung von Abbildung 2:

  • Der Netzwerkanhang ist im Dienstprojekt vorhanden. Die Netzwerkverbindung verwendet ein Subnetz, das zu einer freigegebenen VPC im Hostprojekt gehört.

  • Die Cloud Data Fusion-Instanz befindet sich im Dienstprojekt und verwendet den Netzwerkanhang aus dem Dienstprojekt, um eine private Verbindung herzustellen.

  • Der Cloud Data Fusion-Instanz werden IP-Adressen aus dem Subnetz im freigegebenen VPC zugewiesen.

Hinweis

  • Private Service Connect ist nur in Cloud Data Fusion Version 6.10.0 und höher verfügbar.

  • Sie können Private Service Connect nur aktivieren, wenn Sie eine neue Cloud Data Fusion-Instanz erstellen. Sie können die vorhandenen Instanzen nicht auf die Verwendung von Private Service Connect umstellen.

Preise

Für den Datenein- und ‑ausgang über Private Service Connect wird eine Gebühr erhoben. Weitere Informationen finden Sie in den Preisen für Private Service Connect.

Erforderliche Rollen und Berechtigungen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen (Identity and Access Management) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer Cloud Data Fusion-Instanz und eines Netzwerkanhangs benötigen:

Damit Cloud Data Fusion die erforderlichen Berechtigungen zum Validieren der Netzwerkkonfiguration hat, bitten Sie Ihren Administrator, dem Cloud Data Fusion-Dienst-Agenten (im Format service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com) die folgenden IAM-Rollen für Ihr Projekt zu gewähren:

  • Für die VPC, die mit der Netzwerkverbindung verknüpft ist: Compute-Netzwerkbetrachter (roles/compute.networkViewer)

  • Damit Cloud Data Fusion sein Mandantenprojekt der Zulassungsliste des Netzwerk-Anhangs hinzufügen kann, müssen folgende Voraussetzungen erfüllt sein:

    • compute.networkAttachments.get
    • compute.networkAttachments.update
    • compute.networkAttachments.list

    Die Rolle mit den stärksten Einschränkungen bei diesen Berechtigungen ist die Rolle Compute-Netzwerkadministrator (roles/compute.networkAdmin). Diese Berechtigungen sind Teil der Rolle Cloud Data Fusion API-Dienst-Agent (roles/datafusion.serviceAgent), die dem Cloud Data Fusion-Dienst-Agent automatisch gewährt wird. Daher sind keine Maßnahmen erforderlich, es sei denn, die Rolle des Dienst-Agents wurde ausdrücklich entfernt.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Weitere Informationen zu den Zugriffssteuerungsoptionen in Cloud Data Fusion finden Sie unter Zugriffssteuerung mit IAM.

VPC- oder freigegebenes VPC-Netzwerk erstellen

Sie müssen ein VPC-Netzwerk oder ein freigegebenes VPC-Netzwerk erstellt haben.

Private Service Connect konfigurieren

Wenn Sie Private Service Connect in Cloud Data Fusion konfigurieren möchten, müssen Sie zuerst einen Netzwerkanhang und dann eine Cloud Data Fusion-Instanz mit Private Service Connect erstellen.

Netzwerkanhang erstellen

Die Netzwerkverbindung stellt eine Reihe von Subnetzwerken bereit. So erstellen Sie eine Netzwerkanwendung:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Netzwerkanhänge auf:

    Netzwerkanhänge aufrufen

  2. Klicken Sie auf Netzwerkanhang erstellen.

  3. Geben Sie im Feld Name einen Namen für Ihr Netzwerkanhang ein.

  4. Wählen Sie in der Liste Netzwerk ein VPC- oder ein freigegebenes VPC-Netzwerk aus.

  5. Wählen Sie in der Liste Region eine Region Google Cloud aus. Diese Region muss mit der Cloud Data Fusion-Instanz übereinstimmen.

  6. Wählen Sie in der Liste Subnetzwerk einen Subnetzbereich aus.

  7. Wählen Sie unter Verbindungseinstellung die Option Verbindungen für ausgewählte Projekte akzeptieren aus.

    Wenn Sie eine Cloud Data Fusion-Instanz erstellen, wird das Cloud Data Fusion-Mandantenprojekt automatisch der Liste der Akzeptierten Projekte hinzugefügt.

  8. Fügen Sie keine Akzeptierten Projekte oder Abgelehnte Projekte hinzu.

  9. Klicken Sie auf Netzwerkanhang erstellen.

    Netzwerkanhang erstellen

gcloud

  1. Erstellen Sie ein oder mehrere Subnetze. Beispiel:

    gcloud compute networks subnets create subnet-1 --network=network-0 --range=10.10.1.0/24 --region=REGION
    

    Die Netzwerkverknüpfung verwendet diese Unternetzwerke in den nachfolgenden Schritten.

  2. Erstellen Sie eine Netzwerkanhänge-Ressource in derselben Region wie die Cloud Data Fusion-Instanz. Die Eigenschaft connection-preference muss dabei auf ACCEPT_MANUAL festgelegt sein:

    gcloud compute network-attachments create NAME
    --region=REGION
    --connection-preference=ACCEPT_MANUAL
    --subnets=SUBNET
    

    Ersetzen Sie Folgendes:

    • NAME: Der Name des Netzwerkanhangs.
    • REGION: der Name der Region. Google Cloud Diese Region muss mit der Cloud Data Fusion-Instanz übereinstimmen.
    • SUBNET: der Name des Subnetzes.

    Die Ausgabe dieses Befehls ist eine Netzwerkanhänge-URL im folgenden Format:

    projects/PROJECT/locations/REGION/network-attachments/NETWORK_ATTACHMENT_ID.

    Notieren Sie sich diese URL, da sie für die Verbindung mit Cloud Data Fusion erforderlich ist.

REST API

  1. Erstellen Sie ein Subnetz.

  2. So erstellen Sie einen Netzwerkanhang:

    alias authtoken="gcloud auth print-access-token"
    NETWORK_ATTACHMENT_NAME=NETWORK_ATTACHMENT_NAME
    REGION=REGION
    SUBNET=SUBNET
    PROJECT_ID=PROJECT_ID
    
    read -r -d '' BODY << EOM
    {
      "name": "$NETWORK_ATTACHMENT_NAME",
      "description": "Network attachment for private Cloud Data Fusion",
      "connectionPreference": "ACCEPT_MANUAL",
      "subnetworks": [
        "projects/$PROJECT_ID/regions/$REGION/subnetworks/$SUBNET"
      ]
    }
    EOM
    
    curl -H "Authorization: Bearer $(authtoken)" \
    -H "Content-Type: application/json" \
    -X POST   -d "$BODY" "https://compute.googleapis.com/compute/v1/projects/$PROJECT_ID/regions/$REGION/networkAttachments"
    

    Ersetzen Sie Folgendes:

    • NETWORK_ATTACHMENT_NAME: Der Name des Netzwerkanhangs.
    • REGION: der Name der Region. Google Cloud Diese Region muss mit der Cloud Data Fusion-Instanz übereinstimmen.
    • SUBNET: der Name des Subnetzes.
    • PROJECT_ID: die Projekt-ID.

Erstellen Sie eine Cloud Data Fusion-Instanz.

Cloud Data Fusion verwendet einen /25-CIDR-Block (128 IPs) für Ressourcen im Mandantenprojekt. Dieser Bereich wird als nicht erreichbarer oder reservierter Bereich bezeichnet. Sie können dieselben IP-Adressen in VPCs verwenden, aber Cloud Data Fusion-VMs können über diesen Bereich keine Verbindung zu Ihren Ressourcen herstellen.

In den meisten Fällen ist das kein Problem, da sich der nicht erreichbare CIDR-Block standardmäßig in einem Bereich außerhalb von RFC 1918 (240.0.0.0/8) befindet. Informationen zum Steuern des nicht erreichbaren Bereichs finden Sie unter Erweiterte Konfigurationen.

So erstellen Sie eine Cloud Data Fusion-Instanz mit aktiviertem Private Service Connect:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Instanzen von Cloud Data Fusion auf und klicken Sie auf Instanz erstellen.

    Instanz erstellen

  2. Geben Sie im Feld Instanzname einen Namen für die neue Instanz ein.

  3. Geben Sie im Feld Beschreibung eine Beschreibung für Ihre Instanz ein.

  4. Wählen Sie in der Liste Region die Region Google Cloud aus, in der Sie die Instanz erstellen möchten.

  5. Wählen Sie in der Liste Version die Option 6.10 oder höher aus.

  6. Wählen Sie eine Ausgabe aus Weitere Informationen zu den Preisen für die verschiedenen Versionen finden Sie in der Cloud Data Fusion-Preisübersicht.

  7. Maximieren Sie Erweiterte Optionen und gehen Sie so vor:

    1. Wählen Sie Private IP-Adresse aktivieren aus.

    2. Wählen Sie Private Service Connect als Verbindungstyp aus.

    3. Wählen Sie im Abschnitt Netzwerkanhang den Netzwerkanhang aus, den Sie unter Netzwerkanhang erstellen erstellt haben.

  8. Klicken Sie auf Erstellen. Es kann bis zu 30 Minuten dauern, bis die Instanz erstellt ist.

    Cloud Data Fusion-Instanz mit Private Service Connect erstellen

REST API

Führen Sie dazu diesen Befehl aus:

alias authtoken="gcloud auth print-access-token"

EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID

read -r -d '' BODY << EOM
{
  "description": "PSC enabled instance",
  "version": "6.10",
  "type": "$EDITION",
  "privateInstance": "true",
  "networkConfig": {
    "connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
    "privateServiceConnectConfig": {
      "networkAttachment": "$NETWORK_ATTACHMENT_ID"
    }
  }
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST   -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"

Ersetzen Sie Folgendes:

  • EDITION: die Cloud Data Fusion-Version – BASIC, DEVELOPER oder ENTERPRISE.
  • PROJECT_ID: die Projekt-ID.
  • REGION: der Name der Region. Google Cloud Diese Region muss mit der Cloud Data Fusion-Instanz übereinstimmen.
  • INSTANCE_ID: die ID Ihrer Instanz.
  • NETWORK_ATTACHMENT_ID: die ID des Netzwerkanhangs.

Erweiterte Konfigurationen

Wenn Sie Subnetze freigeben möchten, können Sie denselben Netzwerkanhang für mehrere Cloud Data Fusion-Instanzen angeben. Wenn Sie dagegen ein Subnetz für eine bestimmte Cloud Data Fusion-Instanz zuweisen möchten, müssen Sie einen bestimmten Netzwerkanhang angeben, der von der Cloud Data Fusion-Instanz verwendet werden soll.

Empfohlen: Verwenden Sie dieselbe Netzwerkverbindung, um eine einheitliche Firewallrichtlinie auf alle Cloud Data Fusion-Instanzen anzuwenden.

Wenn Sie den CIDR-Block /25 steuern möchten, der von Cloud Data Fusion nicht erreichbar ist, geben Sie beim Erstellen der Instanz das Attribut unreachableCidrBlock an. Beispiel:

alias authtoken="gcloud auth print-access-token"

EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
UNREACHABLE_RANGE=UNREACHABLE_RANGE

read -r -d '' BODY << EOM
{
  "description": "PSC enabled instance",
  "version": "6.10",
  "type": "$EDITION",
  "privateInstance": "true",
  "networkConfig": {
    "connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
    "privateServiceConnectConfig": {
      "unreachableCidrBlock": "$UNREACHABLE_RANGE",
      "networkAttachment": "projects/$PROJECT_ID/regions/$REGION/networkAttachments/$NETWORK_ATTACHMENT_ID"
    }
  }
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"

Ersetzen Sie Folgendes:

  • EDITION: die Cloud Data Fusion-Version – BASIC, DEVELOPER oder ENTERPRISE.
  • PROJECT_ID: die Projekt-ID.
  • REGION: der Name der Region. Google Cloud Diese Region muss mit der Cloud Data Fusion-Instanz übereinstimmen.
  • INSTANCE_ID: die ID Ihrer Instanz.
  • NETWORK_ATTACHMENT_ID: die ID des Netzwerkanhangs.
  • UNREACHABLE_RANGE: der nicht erreichbare Bereich, z. B. 10.0.0.0/25.

Sicherheit

In diesem Abschnitt wird die Sicherheit zwischen Cloud Data Fusion und Nutzern beschrieben.

Cloud Data Fusion und Verbrauchersicherheit

Private Service Connect-Schnittstellen unterstützen Ausgehende-Firewallregeln, um zu steuern, auf was Cloud Data Fusion innerhalb Ihrer VPC zugreifen kann. Weitere Informationen finden Sie unter Ingress von Produzenten zu Verbrauchern begrenzen.

Sicherheit zwischen Verbraucher und Cloud Data Fusion

Cloud Data Fusion-VMs mit Private Service Connect-Schnittstelle blockieren jeglichen Traffic, der aus Ihrem VPC stammt und kein Antwortpaket ist.