Private Instanz mit Private Service Connect erstellen

Auf dieser Seite wird beschrieben, wie Sie Private Service Connect in Cloud Data Fusion.

Private Service Connect in Cloud Data Fusion

Cloud Data Fusion-Instanzen müssen möglicherweise eine Verbindung zu Ressourcen herstellen, die sich lokal, in Google Cloud oder bei anderen Cloud-Anbietern. Bei Verwendung Cloud Data Fusion mit internen IP-Adressen, Verbindungen zu externen werden über ein VPC-Netzwerk (Virtual Private Cloud) in Ihrem Google Cloud-Projekt Traffic über das Netzwerk läuft nicht über die Öffentlichkeit Internet. Wenn Cloud Data Fusion Zugriff auf Ihr VPC-Netzwerk gewährt wird bei Verwendung von VPC-Peering gibt, gibt es Einschränkungen, die bei der Verwendung von für große Netzwerke.

Mit Private Service Connect-Schnittstellen bietet Cloud Data Fusion stellt ohne VPC-Peering eine Verbindung zu Ihrer VPC her. Private Service Connect Interface ist eine Art von Private Service Connect, ermöglicht Cloud Data Fusion, private und sichere Verbindungen zu VPC-Netzwerken von Nutzern. Dies bietet nicht nur Flexibilität und einfachen Zugriff (wie VPC-Peering), sondern auch eine explizite Autorisierung und verbraucherseitige Kontrolle, die Private Service Connect bietet.

Das folgende Diagramm zeigt, wie die Private Service Connect-Benutzeroberfläche in Cloud Data Fusion bereitgestellt wird:

Bereitstellung der Private Service Connect-Schnittstelle

Abbildung 1. Bereitstellung der Private Service Connect-Schnittstelle

Beschreibung von Abbildung 1:

  • Die virtuellen Maschinen (VMs), auf denen Cloud Data Fusion ausgeführt wird, werden in einem Mandantenprojekt von Google gehostet. Für den Zugriff auf Ressourcen in der VPC des Kunden Cloud Data Fusion-VMs verwenden die vom Private Service Connect-Netzwerkschnittstelle vom Subnetz verwendet. Dieses Subnetz wird dem Netzwerkanhang hinzugefügt, der von Cloud Data Fusion.

  • IP-Pakete von Private Service Connect werden ähnlich behandelt wie die einer VM im selben Subnetz. Mit dieser Konfiguration kann Cloud Data Fusion direkt auf Ressourcen in der Kunden-VPC oder einer Peer-VPC zugreifen, ohne dass ein Proxy erforderlich ist.

  • Internetressourcen sind zugänglich, wenn Cloud NAT in der VPC des Kunden aktiviert ist. Lokale Ressourcen sind über ein Interconnect erreichbar.

  • Sie können Firewallregeln implementieren, um den ein- oder ausgehenden Traffic von Private Service Connect zu verwalten.

Hauptvorteile

Die wichtigsten Vorteile der Verwendung von Cloud Data Fusion mit Private Service Connect:

  • Bessere Kontrolle des IP-Bereichs: Sie steuern die IP-Adressen, über die Cloud Data Fusion eine Verbindung zu Ihrem Netzwerk herstellt. Sie wählen die Subnetze aus von dem die IP-Adressen Cloud Data Fusion zugewiesen werden. Alle hat Traffic von Cloud Data Fusion eine Quell-IP-Adresse aus Ihrem konfiguriertes Subnetz.

    Mit Private Service Connect sind keine reservierten IP-Adressen aus einem Kunden-VPC mehr erforderlich. VPC-Peering erfordert einen CIDR-Block vom Typ /22 (1.024 IP-Adressen) pro Cloud Data Fusion-Instanz.

  • Verbesserte Sicherheit und Isolation. Wenn Sie eine Netzwerkverbindung konfigurieren, steuern Sie, welche Dienste auf Ihr Netzwerk zugreifen können.

  • Vereinfachte Cloud Data Fusion-Instanzeinrichtung. Netzwerk erstellen pro Kunden-VPC nur einmal an. Es sind keine Proxy-VMs erforderlich, um eine Verbindung zu Ressourcen im Internet, zu Peer-VPCs oder zu lokalen Ressourcen herzustellen.

Wichtige Konzepte

In diesem Abschnitt werden die Konzepte erläutert, die mit Private Service Connect in Cloud Data Fusion verbunden sind.

Netzwerkanhang

Ein Netzwerkanhang ist eine regionale Ressource, mit der Cloud Data Fusion dazu autorisiert wird, Netzwerkverbindungen privat zu verwenden und herzustellen, um auf Ressourcen in Ihrer VPC zuzugreifen. Weitere Informationen finden Sie unter Netzwerkanhänge.

Freigegebene VPC

Im Folgenden finden Sie einen Anwendungsfall für Private Service Connect-Schnittstellen mit freigegebenen VPCs:

  • Das Netzwerk- oder Infrastrukturteam ist Inhaber der Subnetze in einem Hostprojekt. So können die Anwendungsteams diese Subnetze aus ihrem Dienstprojekt verwenden.

  • Die Anwendungsteams sind Inhaber der Netzwerkanhänge in einem Dienstprojekt. Die Netzwerkanhang definiert, welcher Cloud Data Fusion-Mandant Projekte können eine Verbindung zu den Subnetzen herstellen, die mit dem Netzwerkanhang verknüpft sind.

Sie können einen Netzwerkanhang in einem Dienstprojekt erstellen. Die in einer Netzwerkverbindung verwendeten Subnetze können sich nur im Hostprojekt befinden.

Das folgende Diagramm veranschaulicht diesen Anwendungsfall:

Anwendungsfall für Private Service Connect-Schnittstellen mit freigegebene VPC

Abbildung 2. Anwendungsfall für Private Service Connect-Schnittstellen mit freigegebener VPC

Beschreibung von Abbildung 2:

  • Der Netzwerkanhang ist im Dienstprojekt vorhanden. Das Netzwerk Anhang ein Subnetz verwendet, das zu einer freigegebene VPC im Host gehört Projekt arbeiten.

  • Die Cloud Data Fusion-Instanz ist im Dienstprojekt vorhanden und verwendet den Netzwerkanhang aus dem Dienstprojekt zum Einrichten eines privaten Konnektivität haben.

  • Der Cloud Data Fusion-Instanz werden IP-Adressen aus dem Subnetz im freigegebenen VPC zugewiesen.

Hinweise

  • Private Service Connect ist nur in Cloud Data Fusion Version 6.10.0 und höher verfügbar.

  • Sie können Private Service Connect nur aktivieren, wenn Sie eine neue Cloud Data Fusion-Instanz erstellen. Sie können die vorhandenen Instanzen nicht migrieren um Private Service Connect zu verwenden.

Preise

Für den Datenein- und ‑ausgang über Private Service Connect wird eine Gebühr erhoben. Weitere Informationen finden Sie in den Preisen für Private Service Connect.

Erforderliche Rollen und Berechtigungen

Berechtigungen zum Erstellen einer Cloud Data Fusion-Instanz erhalten und Netzwerkanhang enthält, bitten Sie Ihren Administrator, Ihnen Folgendes zu gewähren: IAM-Rollen (Identity and Access Management) für Ihr Projekt:

Damit Cloud Data Fusion die erforderlichen Berechtigungen zum Validieren der Netzwerkkonfiguration hat, bitten Sie Ihren Administrator, dem Cloud Data Fusion-Dienst-Agenten (im Format service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com) die folgenden IAM-Rollen für Ihr Projekt zu gewähren:

  • Für die mit dem Netzwerkanhang verknüpfte VPC: Compute-Netzwerkbetrachter (roles/compute.networkViewer)

  • Damit Cloud Data Fusion sein Mandantenprojekt dem Ersteller hinzufügen kann, akzeptieren Sie Folgendes: Liste des Netzwerkanhangs:

    • compute.networkAttachments.get
    • compute.networkAttachments.update
    • compute.networkAttachments.list

    Die restriktivste Rolle mit diesen Berechtigungen ist die Compute-Netzwerkadministrator roles/compute.networkAdmin. Diese Berechtigungen sind Teil der Cloud Data Fusion API-Dienst-Agent (roles/datafusion.serviceAgent) zu, die dem Nutzer automatisch Cloud Data Fusion-Dienst-Agent. Daher sind keine Maßnahmen erforderlich, es sei denn, die Rolle des Dienst-Agents wurde ausdrücklich entfernt.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Weitere Informationen zu den Zugriffssteuerungsoptionen in Cloud Data Fusion finden Sie unter Zugriffssteuerung mit IAM.

VPC- oder freigegebenes VPC-Netzwerk erstellen

Sie müssen ein VPC-Netzwerk oder ein freigegebenes VPC-Netzwerk erstellt haben.

Private Service Connect konfigurieren

Wenn Sie Private Service Connect in Cloud Data Fusion konfigurieren möchten, müssen Sie zuerst einen Netzwerkanhang und dann eine Cloud Data Fusion-Instanz mit Private Service Connect erstellen.

Netzwerkanhang erstellen

Die Netzwerkverbindung stellt eine Reihe von Subnetzwerken bereit. So erstellen Sie ein Netzwerk: führen Sie die folgenden Schritte aus:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Netzwerkanhänge auf:

    Netzwerkanhänge aufrufen

  2. Klicken Sie auf Netzwerkanhang erstellen.

  3. Geben Sie im Feld Name einen Namen für Ihr Netzwerkanhang ein.

  4. Wählen Sie in der Liste Netzwerk ein VPC- oder ein freigegebenes VPC-Netzwerk aus.

  5. Wählen Sie aus der Liste Region eine Google Cloud-Region aus. Diese Region muss mit der Cloud Data Fusion-Instanz übereinstimmen.

  6. Wählen Sie in der Liste Subnetzwerk einen Subnetzwerkbereich aus.

  7. Wählen Sie unter Verbindungseinstellung die Option Verbindungen für ausgewählte Projekte akzeptieren aus.

    Wenn Sie eine Cloud Data Fusion-Instanz erstellen, wird das Cloud Data Fusion-Mandantenprojekt automatisch der Liste der Akzeptierten Projekte hinzugefügt.

  8. Fügen Sie keine Akzeptierten Projekte oder abgelehnten Projekte hinzu.

  9. Klicken Sie auf Netzwerkanhang erstellen.

    Netzwerkanhang erstellen

gcloud

  1. Erstellen Sie ein oder mehrere Subnetze. Beispiel:

    gcloud compute networks subnets create subnet-1 --network=network-0 --range=10.10.1.0/24 --region=REGION
    

    Die Netzwerkverbindung verwendet diese Unternetzwerke in den nachfolgenden Schritten.

  2. Erstellen Sie eine Netzwerkanhänge-Ressource in derselben Region wie die Cloud Data Fusion-Instanz. Die Eigenschaft connection-preference muss dabei auf ACCEPT_MANUAL festgelegt sein:

    gcloud compute network-attachments create NAME
    --region=REGION
    --connection-preference=ACCEPT_MANUAL
    --subnets=SUBNET
    

    Ersetzen Sie Folgendes:

    • NAME: der Name Ihres Netzwerkanhangs.
    • REGION: der Name der Google Cloud-Region. Diese Region muss mit der Cloud Data Fusion-Instanz übereinstimmen.
    • SUBNET: der Name des Subnetzes.

    Die Ausgabe dieses Befehls ist eine Netzwerkanhänge-URL im folgenden Format:

    projects/PROJECT/locations/REGION/network-attachments/NETWORK_ATTACHMENT_ID.

    Notieren Sie sich diese URL, da Cloud Data Fusion sie für benötigt. Konnektivität haben.

REST API

  1. Erstellen Sie ein Subnetz.

  2. So erstellen Sie einen Netzwerkanhang:

    alias authtoken="gcloud auth print-access-token"
    NETWORK_ATTACHMENT_NAME=NETWORK_ATTACHMENT_NAME
    REGION=REGION
    SUBNET=SUBNET
    PROJECT_ID=PROJECT_ID
    
    read -r -d '' BODY << EOM
    {
      "name": "$NETWORK_ATTACHMENT_NAME",
      "description": "Network attachment for private Cloud Data Fusion",
      "connectionPreference": "ACCEPT_MANUAL",
      "subnetworks": [
        "projects/$PROJECT_ID/regions/$REGION/subnetworks/$SUBNET"
      ]
    }
    EOM
    
    curl -H "Authorization: Bearer $(authtoken)" \
    -H "Content-Type: application/json" \
    -X POST   -d "$BODY" "https://compute.googleapis.com/compute/v1/projects/$PROJECT_ID/regions/$REGION/networkAttachments"
    

    Ersetzen Sie Folgendes:

    • NETWORK_ATTACHMENT_NAME: der Name Ihres Netzwerkanhang.
    • REGION: der Name der Google Cloud-Region. Diese Region muss mit der Cloud Data Fusion-Instanz übereinstimmen.
    • SUBNET: der Name des Subnetzes.
    • PROJECT_ID: die Projekt-ID.

Erstellen Sie eine Cloud Data Fusion-Instanz.

Cloud Data Fusion verwendet einen /25-CIDR-Block (128 IPs) für Ressourcen in der Mandantenprojekts. Dieser Bereich wird als nicht erreichbarer oder reservierter Bereich bezeichnet. Sie können dieselben IP-Adressen in VPCs verwenden, aber Cloud Data Fusion-VMs können über diesen Bereich keine Verbindung zu Ihren Ressourcen herstellen.

In den meisten Fällen ist das kein Problem, da sich der nicht erreichbare CIDR-Block standardmäßig in einem Bereich außerhalb von RFC 1918 (240.0.0.0/8) befindet. Wenn Sie die nicht erreichbaren Bereich finden Sie unter Erweiterte Konfigurationen.

So erstellen Sie eine Cloud Data Fusion-Instanz mit aktiviertem Private Service Connect:

Console

  1. Rufen Sie in der Google Cloud Console die Seite Instanzen von Cloud Data Fusion auf und klicken Sie auf Instanz erstellen.

    Instanz erstellen

  2. Geben Sie im Feld Instanzname einen Namen für die neue Instanz ein.

  3. Geben Sie im Feld Beschreibung eine Beschreibung für Ihre Instanz ein.

  4. Wählen Sie in der Liste Region die Google Cloud-Region aus, in der Sie die Instanz erstellen möchten.

  5. Wählen Sie in der Liste Version die Option 6.10 oder höher aus.

  6. Wählen Sie eine Ausgabe aus Weitere Informationen zu den Preisen für die verschiedenen Versionen finden Sie in der Cloud Data Fusion-Preisübersicht.

  7. Maximieren Sie Erweiterte Optionen und gehen Sie so vor:

    1. Wählen Sie Private IP-Adresse aktivieren aus.

    2. Wählen Sie Private Service Connect als Verbindungstyp aus.

    3. Wählen Sie im Abschnitt Netzwerkanhang den Netzwerkanhang aus. den Sie unter Netzwerkanhang erstellen erstellt haben.

  8. Klicken Sie auf Erstellen. Es kann bis zu 30 Minuten dauern, bis die Instanz erstellt ist.

    Cloud Data Fusion-Instanz mit Private Service Connect erstellen

REST API

Führen Sie dazu diesen Befehl aus:

alias authtoken="gcloud auth print-access-token"

EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID

read -r -d '' BODY << EOM
{
  "description": "PSC enabled instance",
  "version": "6.10",
  "type": "$EDITION",
  "privateInstance": "true",
  "networkConfig": {
    "connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
    "privateServiceConnectConfig": {
      "networkAttachment": "$NETWORK_ATTACHMENT_ID"
    }
  }
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST   -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"

Ersetzen Sie Folgendes:

  • EDITION: die Cloud Data Fusion-Version – BASIC, DEVELOPER oder ENTERPRISE.
  • PROJECT_ID: die Projekt-ID.
  • REGION: der Name der Google Cloud-Region. Diese Region muss mit der Cloud Data Fusion-Instanz übereinstimmen.
  • INSTANCE_ID: die ID Ihrer Instanz.
  • NETWORK_ATTACHMENT_ID: die ID des Netzwerkanhangs.

Erweiterte Konfigurationen

Um die Freigabe von Subnetzen zu ermöglichen, können Sie mehrere Cloud Data Fusion-Instanzen erstellen. Wenn Sie dagegen ein Subnetz für eine bestimmte Cloud Data Fusion-Instanz verwenden möchten, müssen Sie einen bestimmten Netzwerkanhang angeben, der von der Cloud Data Fusion-Instanz verwendet werden soll.

Empfohlen: Um eine einheitliche Firewallrichtlinie auf alle Cloud Data Fusion-Instanzen verwenden denselben Netzwerkanhang.

Wenn Sie den CIDR-Block /25 steuern möchten, der für Cloud Data Fusion verwenden, geben Sie das Attribut unreachableCidrBlock an, wenn Sie erstellen Sie die Instanz. Beispiel:

alias authtoken="gcloud auth print-access-token"

EDITION=EDITION
PROJECT_ID=PROJECT_ID
REGION=REGION
CDF_ID=INSTANCE_ID
NETWORK_ATTACHMENT_ID=NETWORK_ATTACHMENT_ID
UNREACHABLE_RANGE=UNREACHABLE_RANGE

read -r -d '' BODY << EOM
{
  "description": "PSC enabled instance",
  "version": "6.10",
  "type": "$EDITION",
  "privateInstance": "true",
  "networkConfig": {
    "connectionType": "PRIVATE_SERVICE_CONNECT_INTERFACES",
    "privateServiceConnectConfig": {
      "unreachableCidrBlock": "$UNREACHABLE_RANGE",
      "networkAttachment": "projects/$PROJECT_ID/regions/$REGION/networkAttachments/$NETWORK_ATTACHMENT_ID"
    }
  }
}
EOM

curl -H "Authorization: Bearer $(authtoken)" \
-H "Content-Type: application/json" \
-X POST -d "$BODY" "https://datafusion.googleapis.com/v1/projects/$PROJECT_ID/locations/$REGION/instances/?instanceId=$CDF_ID"

Ersetzen Sie Folgendes:

  • EDITION: die Cloud Data Fusion-Version – BASIC, DEVELOPER oder ENTERPRISE.
  • PROJECT_ID: die Projekt-ID.
  • REGION: der Name der Google Cloud-Region. Diese Region muss mit der Cloud Data Fusion-Instanz übereinstimmen.
  • INSTANCE_ID: die ID Ihrer Instanz.
  • NETWORK_ATTACHMENT_ID: die ID des Netzwerkanhangs.
  • UNREACHABLE_RANGE: der nicht erreichbare Bereich, z. B. 10.0.0.0/25.

Sicherheit

In diesem Abschnitt wird die Sicherheit zwischen Cloud Data Fusion und Nutzern beschrieben.

Cloud Data Fusion und Verbrauchersicherheit

Private Service Connect-Schnittstellen unterstützen Ausgehende-Firewallregeln, um zu steuern, auf was Cloud Data Fusion innerhalb Ihrer VPC zugreifen kann. Weitere Informationen finden Sie unter Ingress von Produzenten zu Verbrauchern begrenzen.

Sicherheit zwischen Verbraucher und Cloud Data Fusion

Cloud Data Fusion-VMs mit Private Service Connect-Schnittstelle blockieren jeglichen Traffic, der aus Ihrem VPC stammt und kein Antwortpaket ist.