Diese Seite wurde von der Cloud Translation API übersetzt.
Switch to English

Vom Kunden verwaltete Verschlüsselungsschlüssel verwenden

Vom Kunden verwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEK) bieten Nutzern die Kontrolle über die Daten, die von Cloud Data Fusion-Pipelines geschrieben werden. Dazu gehören:

  • Metadaten des Dataproc-Clusters
  • Datenquellen und -senken in Cloud Storage, BigQuery und Pub/Sub

Auf dieser Seite wird beschrieben, wie Sie einen Cloud Key Management Service (Cloud KMS)-Verschlüsselungsschlüssel mit Cloud Data Fusion verwenden. Ein vom Kunden verwalteter Verschlüsselungsschlüssel (Customer-Managed Encryption Key, CMEK) ermöglicht die Verschlüsselung inaktiver Daten mit einem Schlüssel, den Sie über Cloud KMS verwalten können. Sie können eine Pipeline erstellen, die durch einen CMEK geschützt ist oder auf CMEK-geschützte Daten in Quellen und Senken zugreifen.

Cloud Data Fusion-Ressourcen

Cloud Data Fusion unterstützt vom Kunden verwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEK) für die folgenden Cloud Data Fusion-Plug-ins:

  • Cloud Data Fusion-Senken:

    • cl
    • Cloud Storage multi-file
    • BigQuery
    • BigQuery-Multi-Tabelle
    • Pub/Sub
  • Cloud Data Fusion-Aktionen:

    • Cloud Storage create
    • BigQuery execute

Cloud Data Fusion unterstützt vom Kunden verwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEK) für Dataproc-Cluster. Cloud Data Fusion erstellt einen temporären Dataproc-Cluster zur Verwendung in der Pipeline. Er wird gelöscht, wenn die Pipeline abgeschlossen ist. CMEK schützt die Clustermetadaten, die in Folgendes geschrieben werden:

  • Nichtflüchtige Speicher (PDs), die an Cluster-VMs angehängt sind.
  • Job-Treiberausgabe und andere Metadaten, die in den automatisch erstellten oder vom Nutzer erstellten Dataproc-Staging-Bucket geschrieben werden.

CMEK einrichten

  1. Cloud KMS-Schlüssel erstellen

  2. Rufen Sie die Ressourcen-ID des von Ihnen erstellten Schlüssels ab, den Sie später in diesem Verfahren verwenden.

      projects/project-id/locations/region/keyRings/key-ring-name/cryptoKeys/key-name
    

    1. Rufen Sie in der Cloud Console die Seite Kryptografische Schlüssel auf.
    2. Klicken Sie auf das Dreipunkt-Menü neben Ihrem Schlüssel.
    3. Klicken Sie auf Ressourcen-ID kopieren. Dadurch wird Ihre Ressourcen-ID in die Zwischenablage kopiert.
  3. Richten Sie die Dienstkonten Ihres Projekts zur Verwendung Ihres Schlüssels ein:

    1. Erforderlich: Sie müssen dem Compute Engine-Systemdienstkonto die Rolle Cloud KMS CryptoKey-Verschlüsseler/Entschlüsseler zuweisen. Weitere Informationen finden Sie unter Einem Dienstkonto Rollen für bestimmte Ressourcen zuweisen. Diesem Konto wird standardmäßig die Compute Engine-Dienst-Agent-Rolle in dieser Form zugewiesen:
      service-[PROJECT_NUMBER]@compute-system.iam.gserviceaccount.com
      
    2. Erforderlich: Sie müssen dem Cloud Storage-Dienst-Agent die Cloud KMS CryptoKey-Verschlüsseler/Entschlüsseler-Rolle zuweisen (siehe Cloud KMS-Schlüssel für einen Cloud Storage-Dienst-Agent) Der Dienst-Agent hat das folgende Format:
      service-[PROJECT_NUMBER]@gs-project-accounts.iam.gserviceaccount.com
      
    3. Optional: Wenn Ihre Pipeline BigQuery-Ressourcen verwendet, gewähren Sie die Cloud KMS CryptoKey-Verschlüsseler/Entschlüsseler-Rolle an das BigQuery-Dienstkonto (siehe Verschlüsselungs- und Entschlüsselungsberechtigungen gewähren ). Dieses Konto hat das folgende Format:
      bq-[PROJECT_NUMBER]@bigquery-encryption.iam.gserviceaccount.com
      
    4. Optional: Wenn Ihre Pipeline Pub/Sub-Ressourcen verwendet, weisen Sie dem Pub/Sub-Dienstkonto die Rolle Cloud KMS CryptoKey Verschlüsseler/Entschlüsseler zu (siehe Vom Kunden verwaltete Verschlüsselungsschlüssel verwenden). Dieses Konto hat das folgende Format:
      service-[PROJECT_NUMBER]@gcp-sa-pubsub.iam.gserviceaccount.com
      

CMEK mit Metadaten des Dataproc-Clusters verwenden

Führen Sie einen der folgenden Schritte aus, um CMEK zum Verschlüsseln von nichtflüchtigem Speicher (PD) und der Staging-Bucket-Metadaten zu verwenden, die vom Dataproc-Cluster, der in Ihrer Pipeline ausgeführt wird, geschrieben wurden:

  • Empfohlen: Erstellen Sie ein Dataproc-Berechnungsprofil (nur Enterprise Edition).
  • Bearbeiten Sie ein vorhandenes Dataproc-Berechnungsprofil (Developer, Basic oder Enterprise Edition).
  1. Öffnen Sie in der Cloud Console die Seite Cloud Data Fusion-Instanzen.

    Zur Seite "Instanzen"

  2. Klicken Sie in der Spalte Aktionen für die Instanz auf Instanz aufrufen.
  3. Klicken Sie in der Web-UI von Cloud Data Fusion auf SYSTEMADMINISTRATOR.
  4. Klicken Sie auf den Tab Configuration (Konfiguration).
  5. Klicken Sie auf das Drop-down-Menü System Compute-Profiles.
  6. Klicken Sie auf Neues Profil erstellen.
  7. Wählen Sie Cloud Dataproc aus.
  8. Geben Sie ein Profillabel, einen Profilnamen und eine Beschreibung ein.
  9. Standardmäßig erstellt Cloud Data Fusion automatisch einen Cloud Storage-Bucket, der als Staging-Bucket von Dataproc verwendet werden soll. Wenn Sie einen Cloud Storage-Bucket verwenden möchten, der bereits in Ihrem Projekt vorhanden ist, gehen Sie so vor:
    1. Geben Sie im Abschnitt Allgemeine Einstellungen Ihren vorhandenen Cloud Storage-Bucket in das Feld Cloud Storage-Bucket ein.
    2. Fügen Sie Ihren Cloud KMS-Schlüssel dem Cloud Storage-Bucket hinzu.
  10. Rufen Sie die Ressourcen-ID Ihres Cloud KMS-Schlüssels ab. Geben Sie im Abschnitt Allgemeine Einstellungen Ihre Ressourcen-ID in das Feld Name des Verschlüsselungsschlüssels ein.
  11. Klicken Sie auf Erstellen.
  12. Wenn im Abschnitt System Compute-Profile auf dem Tab Konfiguration mehrere Profile aufgeführt sind, legen Sie das neue Profil als Standardprofil fest, indem Sie den Zeiger über dem Feld für den Profilnamen halten und auf den angezeigten Stern klicken.
    Wählen Sie das Standardprofil.

CMEK mit anderen Ressourcen verwenden

Wenn Sie mit CMEK Daten verschlüsseln möchten, die von anderen Ressourcen wie Cloud Storage-, BigQuery- oder Pub/Sub-Senken geschrieben wurden, haben Sie folgende Möglichkeiten:

  • Ein Laufzeitargument verwenden
  • Eine Systemeinstellung in Cloud Data Fusion festlegen

Laufzeitargument

  1. Klicken Sie auf der Cloud Data Fusion-Seite Pipeline Studio rechts neben der Schaltfläche Ausführen auf den Drop-down-Pfeil.
  2. Geben Sie im Feld Name gcp.cmek.key.name ein.
  3. Geben Sie im Feld Wert die Ressourcen-ID Ihres Schlüssels ein.
    Wählen Sie die Data Fusion-Edition aus.
  4. Klicken Sie auf Speichern.

Einstellung

  1. Klicken Sie in der Benutzeroberfläche von Cloud Data Fusion auf SYSTEMADMINISTRATOR.
  2. Klicken Sie auf den Tab Configuration (Konfiguration).
  3. Klicken Sie auf das Drop-down-Menü Systemeinstellungen.
  4. Klicken Sie auf Systemeinstellungen bearbeiten.
  5. Geben Sie im Feld Schlüssel gcp.cmek.key.name ein.
  6. Geben Sie im Feld Wert die Ressourcen-ID Ihres Schlüssels ein.
    Wählen Sie die Data Fusion-Edition aus.
  7. Klicken Sie auf Speichern & schließen.