VPC Service Controls mit Cloud Data Fusion verwenden

Wenn Sie eine Cloud Data Fusion-Instanz mit einer privaten IP-Adresse erstellen möchten, können Sie für zusätzliche Sicherheit sorgen, indem Sie zuerst einen Sicherheitsbereich für die Instanz einrichten mithilfe von VPC Service Controls (VPC-SC) .. Der VPC-SC-Sicherheitsbereich um die private Cloud Data Fusion-Instanz und andere Google Cloud Ressourcen trägt dazu bei, das Risiko einer Daten-Exfiltration zu verringern. Beispiel: Liest bei VPC Service Controls eine Cloud Data Fusion-Pipeline Daten aus einer unterstützten Ressource wie einem BigQuery-Dataset aus, die sich im Perimeter befindet, und versucht die Ausgabe dann in eine Ressource außerhalb des Perimeters zu schreiben, schlägt die Pipeline fehl.

Cloud Data Fusion-Ressourcen werden auf zwei API-Oberflächen verfügbar gemacht:

  1. Die Steuerungsebene-API-Oberfläche datafusion.googleapis.com, mit der Sie Vorgänge auf Instanzebene ausführen können, z. B. das Erstellen und Löschen von Instanzen.

  2. Die Datenebene-API-Oberfläche datafusion.googleusercontent.com (die Cloud Data Fusion-Web-UI in der Google Cloud Console), die auf einer Cloud Data Fusion-Instanz ausgeführt wird, um Datenpipelines zu erstellen und auszuführen.

Sie richten VPC Service Controls mit Cloud Data Fusion ein, indem Sie die Verbindung auf diese beiden API-Oberflächen beschränken.

Strategien

  • Cloud Data Fusion-Pipelines werden auf Dataproc-Clustern ausgeführt. Wenn Sie einen Dataproc-Cluster mit einem Dienstperimeter schützen möchten, folgen Sie der Anleitung zum Einrichten privater Verbindungen, damit der Cluster innerhalb des Perimeters funktionieren kann.

  • Verwenden Sie keine Plug-ins, die Google Cloud APIs nutzen, die nicht von VPC Service Controls unterstützt werden. Wenn Sie nicht unterstützte Plug-ins verwenden, blockiert Cloud Data Fusion die API-Aufrufe, was zu einer Pipelinevorschau und einem Ausführungsfehler führt.

  • Zur Verwendung von Cloud Data Fusion in einem VPC Service Controls-Dienstperimeter fügen Sie mehrere DNS-Einträge hinzu oder konfigurieren Sie diese, um die folgenden Domains auf die eingeschränkte VIP (virtuelle IP-Adresse) zu verweisen:

    • datafusion.googleapis.com
    • *.datafusion.googleusercontent.com
    • *.datafusion.cloud.google.com

Beschränkungen:

  • Richten Sie den VPC Service Controls-Sicherheitsperimeter ein, bevor Sie Ihre private Cloud Data Fusion-Instanz erstellen. Der Perimeterschutz für Instanzen, die vor der Einrichtung von VPC Service Controls erstellt wurden, wird nicht unterstützt.

  • Derzeit unterstützt die Cloud Data Fusion-Datenebenen-UI nicht die Angabe von Zugriffsebenen mithilfe des identitätsbasierten Zugriffs.

Cloud Data Fusion API-Oberflächen beschränken

Oberfläche der Steuerungsebene beschränken

Unter Private Verbindung zu Google APIs und Google-Diensten einrichten erfahren Sie, wie Sie Verbindungen zur Oberfläche der datafusion.googleapis.com - API-Steuerungsebene beschränken.

Oberfläche der Datenebene beschränken

Konfigurieren Sie das DNS mithilfe der folgenden Schritte für die Domains *.datafusion.googleusercontent.com und *.datafusion.cloud.google.com, um eine private Verbindung zur API-Datenebene einzurichten.

  1. So erstellen Sie eine neue private Zone mit Cloud DNS:

    1. Zonentyp: Aktivieren Sie privat.
    2. Zonenname: datafusiongoogleusercontentcom
    3. DNS-Name: datafusion.googleusercontent.com

    4. Netzwerk: Wählen Sie das private IP-Netzwerk aus, das Sie beim Erstellen der Cloud Data Fusion-Instanz ausgewählt haben.

      So füllen Sie die Zonenfelder aus.

  2. Klicken Sie auf der Seite Cloud DNS auf den DNS-Zonennamen datafusiongoogleusercontent, um die Seite Zonendetails zu öffnen. Zwei Einträge werden aufgelistet: ein NS- und ein SOA-Eintrag. Verwenden Sie Standard hinzufügen, um die folgenden beiden Datensätze Ihrer DNS-Zone „datafusiongoogleusercontent“ hinzuzufügen.

    1. Fügen Sie einen CNAME-Eintrag hinzu: Füllen Sie im Dialogfeld Eintragsgruppe erstellen die folgenden Felder aus, um den DNS-Namen *.datafusion.googleusercontent.com. dem kanonischen Namen datafusion.googleusercontent.com zuzuordnen:

      • DNS name: "*.datafusion.googleusercontent.com"

      • Kanonischer Name: "datafusion.googleusercontent.com"

        So füllen Sie die Zonenfelder aus.

    2. Einen A-Eintrag hinzufügen: Füllen Sie in einem neuen Dialogfeld Datensatz erstellen die folgenden Felder aus, um den DNS-Namen datafusion.googleusercontent.com. den IP-Adressen 199.36.153.4 - 199.36.153.7 zuzuordnen:

      • DNS-Name: ".datafusion.googleusercontent.com"

      • IPv4-Adresse

        • 199.36.153.4
        • 199.36.153.5
        • 199.36.153.6
        • 199.36.153.7
        So füllen Sie die Zonenfelder aus.

      Auf der datafusiongoogleusercontent Zonendetails-Seite werden die folgenden Datensätze angezeigt:

      So füllen Sie die Zonenfelder aus.

  3. Führen Sie die oben genannten Schritte aus, um eine private DNS-Zone zu erstellen und einen Datensatz für die Domain *.datafusion.cloud.google.com hinzuzufügen.

Nächste Schritte