Audit-Logs für Dataproc ansehen

In diesem Dokument werden die Audit-Logs beschrieben, die von Dataproc als Teil von Cloud-Audit-Logs erstellt werden.

Übersicht

Google Cloud-Dienste schreiben Audit-Logs, aus denen in Bezug auf Ihre Google Cloud-Ressourcen hervorgeht, wer was wo und wann getan hat.

Ihre Google Cloud-Projekte enthalten nur die Audit-Logs für Ressourcen, die sich direkt im Cloud-Projekt befinden. Andere Google Cloud-Ressourcen wie Ordner, Organisationen und Rechnungskonten enthalten jeweils eigene Audit-Logs.

Eine allgemeine Übersicht über Cloud-Audit-Logs finden Sie unter Cloud-Audit-Logs. Detaillierte Informationen zum Format von Audit-Logs finden Sie unter Audit-Logs verstehen.

Verfügbare Audit-Logs

Die folgenden Arten von Audit-Logs sind für Dataproc verfügbar:

• Audit-Logs zur Administratoraktivität

  Umfasst „Admin Write“-Vorgänge, die Metadaten oder Konfigurationsinformationen schreiben.

  Sie können Audit-Logs zu Administratoraktivitäten nicht deaktivieren.

• Audit-Logs zum Datenzugriff

  Umfasst „Admin Read“-Vorgänge, die Metadaten oder Konfigurationsinformationen lesen. Umfasst auch „Data Read“- und „Data Write“-Vorgänge, die von Nutzern bereitgestellte Daten lesen oder schreiben.

  Sie müssen sie explizit aktivieren, um Audit-Logs zum Datenzugriff zu erhalten.

Ausführlichere Beschreibungen der Audit-Logtypen finden Sie unter Arten von Audit-Logs.

Geprüfte Vorgänge

Nachfolgend ist zusammengefasst, welche API-Vorgänge zu den einzelnen Audit-Logtypen in Dataproc passen:

Hinweis: Für Logs der Dataproc testIamPermissions werden keine Audit-Logs generiert.

Kategorie des Dataproc-Audit-Logs
Audit-Logs zur Administratoraktivität	Dataproc-Ressource REST-Methode RPC-Methode Ressourcentyp des Audit-Logs Autoscaling-Richtlinien Erstellen AutoscalingPolicyService.CreateAutoscalingPolicy Geprüfte Ressource Aktualisieren AutoscalingPolicyService.UpdateAutoscalingPolicy Geprüfte Ressource Löschen AutoscalingPolicyService.DeleteAutoscalingPolicy Geprüfte Ressource SetIamPolicy IAMPolicy.SetIamPolicy Geprüfte Ressource Cluster Erstellen ClusterController.CreateCluster Cloud Dataproc-Cluster Patchen ClusterController.UpdateCluster Cloud Dataproc-Cluster Diagnose ClusterController.DiagnoseCluster Cloud Dataproc-Cluster Löschen ClusterController.DeleteCluster Cloud Dataproc-Cluster Start ClusterController.StartCluster Cloud Dataproc-Cluster Beenden ClusterController.StopCluster Cloud Dataproc-Cluster SetIamPolicy IAMPolicy.SetIamPolicy Cloud Dataproc-Cluster Jobs Senden JobController.SubmitJob Cloud Dataproc-Cluster Senden als Vorgang JobController.SubmitJobAsOperation Cloud Dataproc-Cluster Aktualisieren JobController.UpdateJob Geprüfte Ressource Abbrechen JobController.CancelJob Cloud Dataproc-Cluster Löschen JobController.DeleteJob Cloud Dataproc-Cluster SetIamPolicy IAMPolicy.SetIamPolicy Cloud Dataproc-Cluster Operations-Suite Abbrechen Operations.CancelOperation Cloud Dataproc-Cluster Löschen Operations.DeleteOperation Cloud Dataproc-Cluster SetIamPolicy IAMPolicy.SetIamPolicy Cloud Dataproc-Cluster Workflowvorlagen Erstellen WorkflowVorlagenService.CreateWorkflowTemplate Geprüfte Ressource Instanziieren WorkflowVorlagenService.InstantiateWorkflowTemplate Geprüfte Ressource Instantininline WorkflowVorlagenService.InstantiateInlineWorkflowTemplate Geprüfte Ressource Aktualisieren WorkflowVorlagenService.UpdateWorkflowTemplates Geprüfte Ressource Löschen WorkflowVorlagenService.DeleteWorkflowTemplate Geprüfte Ressource SetIamPolicy IAMPolicy.SetIamPolicy Geprüfte Ressource Batches Erstellen BatchController.CreateBatch Geprüfte Ressource Löschen BatchController.DeleteBatch Geprüfte Ressource
Audit-Logs zum Datenzugriff	Dataproc-Ressource REST-Methode RPC-Methode Ressourcentyp des Audit-Logs Autoscaling-Richtlinien Abrufen AutoscalingPolicyService.GetAutoscalingPolicy Geprüfte Ressource Liste AutoscalingPolicyService.ListAutoscalingPolicy Geprüfte Ressource GetIamPolicy IAMPolicy.GetIamPolicy Geprüfte Ressource Cluster Abrufen ClusterController.GetCluster Cloud Dataproc-Cluster Liste ClusterController.ListClusters Cloud Dataproc-Cluster GetIamPolicy IAMPolicy.GetIamPolicy Cloud Dataproc-Cluster Jobs Abrufen JobController.GetJob Cloud Dataproc-Cluster Liste JobController.ListJobs Cloud Dataproc-Cluster GetIamPolicy IAMPolicy.GetIamPolicy Cloud Dataproc-Cluster Operations-Suite Abrufen Operations.GetOperation Cloud Dataproc-Cluster Liste Operations.ListOperations Cloud Dataproc-Cluster GetIamPolicy IAMPolicy.GetIamPolicy Cloud Dataproc-Cluster Workflowvorlagen Abrufen WorkflowVorlagenService.GetWorkflowTemplate Geprüfte Ressource Liste WorkflowVorlagenService.GetWorkflowTemplates Geprüfte Ressource GetIamPolicy IAMPolicy.GetIamPolicy Geprüfte Ressource Batches Abrufen BatchController.GetBatch Geprüfte Ressource Liste BatchController.ListBatches Geprüfte Ressource

Audit-Logformat

Audit-Logeinträge umfassen folgende Komponenten:

• Den Logeintrag selbst. Dabei handelt es sich um ein Objekt vom Typ LogEntry. Interessante Felder sind unter anderem:

  • logName enthält die Ressourcen-ID und den Audit-Logtyp.
  • resource enthält das Ziel zum geprüften Vorgang
  • timeStamp enthält die Uhrzeit des geprüften Vorgangs
  • protoPayload enthält die geprüften Informationen

• Die Audit-Logdaten, bei denen es sich um ein AuditLog-Objekt handelt, das sich im Feld protoPayload des Logeintrags befindet

• Optionale dienstspezifische Auditinformationen. Das Objekt ist dienstspezifisch. Bei früheren Integrationen befindet sich dieses Objekt im Feld serviceData des AuditLog-Objekts. Spätere Integrationen verwenden das Feld metadata.

Informationen zu anderen Feldern in diesen Objekten sowie zu deren Interpretation finden Sie unter Audit-Logs verstehen.

Logname

Lognamen von Cloud-Audit-Logs enthalten Ressourcenkennungen, die das Cloud-Projekt oder eine andere Google Cloud-Entität angeben, die der Inhaber der Audit-Logs ist. Außerdem zeigen sie an, ob das Log Audit-Logging-Daten zu Administratoraktivitäten, Datenzugriff, Richtlinienverweigerung oder Audit-Systemereignissen enthält.

Im Folgenden finden Sie die Namen der Audit-Logs, einschließlich Variablen für die Ressourcenkennungen:

   projects/PROJECT_ID/logs/cloudaudit.googleapis.com%2Factivity
   projects/PROJECT_ID/logs/cloudaudit.googleapis.com%2Fdata_access
   projects/PROJECT_ID/logs/cloudaudit.googleapis.com%2Fsystem_event
   projects/PROJECT_ID/logs/cloudaudit.googleapis.com%2Fpolicy

   folders/FOLDER_ID/logs/cloudaudit.googleapis.com%2Factivity
   folders/FOLDER_ID/logs/cloudaudit.googleapis.com%2Fdata_access
   folders/FOLDER_ID/logs/cloudaudit.googleapis.com%2Fsystem_event
   folders/FOLDER_ID/logs/cloudaudit.googleapis.com%2Fpolicy

   billingAccounts/BILLING_ACCOUNT_ID/logs/cloudaudit.googleapis.com%2Factivity
   billingAccounts/BILLING_ACCOUNT_ID/logs/cloudaudit.googleapis.com%2Fdata_access
   billingAccounts/BILLING_ACCOUNT_ID/logs/cloudaudit.googleapis.com%2Fsystem_event
   billingAccounts/BILLING_ACCOUNT_ID/logs/cloudaudit.googleapis.com%2Fpolicy

   organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com%2Factivity
   organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com%2Fdata_access
   organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com%2Fsystem_event
   organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com%2Fpolicy

Hinweis: Der Teil des Lognamens nach /logs/ muss URL-codiert sein. Der Schrägstrich / muss als %2F geschrieben werden.

Dienstname

Dataproc-Audit-Logs verwenden den Dienstnamen dataproc.googleapis.com.

Eine vollständige Liste aller Cloud Logging API-Dienstnamen und des jeweiligen überwachten Ressourcentyps finden Sie unter Dienste Ressourcen zuordnen.

Ressourcentypen

Dataproc-Audit-Logs verwenden die Ressourcentypen cloud_dataproc_cluster und audited_resource für Audit-Logs.

Eine Liste aller überwachten Cloud Logging-Ressourcentypen und beschreibende Informationen finden Sie unter Überwachte Ressourcentypen.

Audit-Logging aktivieren

Audit-Logs zu Administratoraktivitäten sind immer aktiviert. Sie können sie nicht deaktivieren.

Audit-Logs zum Datenzugriff sind standardmäßig deaktiviert und werden nur geschrieben, wenn sie explizit aktiviert werden. Eine Ausnahme bilden die Audit-Logs zum Datenzugriff für BigQuery, die nicht deaktiviert werden können.

Informationen zum Aktivieren einiger oder aller Audit-Logs zum Datenzugriff finden Sie unter Audit-Logs zum Datenzugriff konfigurieren.

Berechtigungen und Rollen

IAM-Berechtigungen und -Rollen bestimmen Ihre Fähigkeit, auf Audit-Logdaten in Google Cloud-Ressourcen zuzugreifen.

Berücksichtigen Sie Folgendes bei der Entscheidung, welche Logging-spezifischen Berechtigungen und Rollen für Ihren Anwendungsfall gelten:

• Die Rolle „Log-Betrachter“ (roles/logging.viewer) bietet Ihnen Lesezugriff auf die Audit-Logs zu Administratoraktivitäten, abgelehnten Richtlinien und Systemereignissen. Wenn Sie nur diese Rolle haben, können Sie keine Audit-Logs zum Datenzugriff aufrufen, die sich in den Buckets _Required und _Default befinden.

• Die Rolle „Betrachter privater Logs“ ((roles/logging.privateLogViewer) enthält die Berechtigungen, die in roles/logging.viewer enthalten sind, sowie die Möglichkeit, Audit-Logs zum Datenzugriff in den Buckets _Required und _Default zu lesen.

  Wenn diese privaten Logs in benutzerdefinierten Buckets gespeichert sind, kann jeder Nutzer, der Berechtigungen zum Lesen von Logs in diesen Buckets hat, die privaten Logs lesen. Weitere Informationen zu Log-Buckets finden Sie unter Routing und Speicher.

Weitere Informationen zu den IAM-Berechtigungen und -Rollen, die für Audit-Logdaten gelten, finden Sie unter Zugriffssteuerung mit IAM.

Logs ansehen

Wenn Sie Audit-Logs abfragen möchten, benötigen Sie den Namen des Audit-Logs. Dieser enthält die Ressourcenkennung des Cloud-Projekts, des Ordners, des Rechnungskontos oder der Organisation, für die Sie Audit-Logging-Informationen aufrufen möchten. In der Abfrage können Sie weitere indexierte LogEntry-Felder angeben, z. B. resource.type. Weitere Informationen zu Abfragen finden Sie unter Abfragen im Log-Explorer erstellen.

Sie können Audit-Logs in Cloud Logging über die Google Cloud Console, die Google Cloud CLI oder die Logging API aufrufen.

Console

In der Google Cloud Console können Sie mit dem Log-Explorer Ihre Audit-Logeinträge für das Cloud-Projekt, den Ordner oder die Organisation abrufen:

Hinweis:Sie können sich Audit-Logs für Cloud-Rechnungskonten in der Google Cloud Console nicht ansehen. Sie müssen die API oder die gcloud CLI verwenden.

1. Rufe in der Google Cloud Console die Seite Logging>Log-Explorer auf.

   Zum Log-Explorer

2. Wählen Sie ein vorhandenes Cloud-Projekt, einen Ordner oder eine Organisation aus.

3. Führen Sie im Bereich Query Builder folgende Schritte aus:

   • Wählen Sie unter Ressourcentyp die Google Cloud-Ressource aus, deren Audit-Logs angezeigt werden sollen.

   • Wählen Sie unter Logname den Audit-Logtyp aus, den Sie sehen möchten:

     • Wählen Sie für Audit-Logs zu Administratoraktivitäten die Option activity aus.
     • Wählen Sie für Audit-Logs zum Datenzugriff die Option data_access aus.
     • Wählen Sie für Audit-Logs zu Systemereignissen die Option system_event aus.
     • Wählen Sie für Audit-Logs zu Richtlinienverstößen die Option policy aus.

   Wenn diese Optionen nicht angezeigt werden, sind im Cloud-Projekt, im Ordner oder in der Organisation keine Audit-Logs dieses Typs verfügbar.

   Wenn beim Aufrufen von Logs im Log-Explorer Probleme auftreten, lesen Sie die Informationen zur Fehlerbehebung.

   Weitere Informationen zu Abfragen mit dem Log-Explorer finden Sie unter Abfragen im Log-Explorer erstellen.

gcloud

Die Google Cloud CLI bietet eine Befehlszeile für die Logging API. Geben Sie in jedem Lognamen eine gültige Ressourcenkennung an. Wenn die Abfrage beispielsweise eine PROJECT_ID enthält, muss sich die von Ihnen angegebene Projekt-ID auf das aktuell ausgewählte Cloud-Projekt beziehen.

Führen Sie den folgenden Befehl aus, um Ihre Audit-Logeinträge auf Google Cloud-Projektebene zu lesen:

gcloud logging read "logName : projects/PROJECT_ID/logs/cloudaudit.googleapis.com" \
    --project=PROJECT_ID

Führen Sie den folgenden Befehl aus, um Ihre Audit-Logeinträge auf Ordnerebene zu lesen:

gcloud logging read "logName : folders/FOLDER_ID/logs/cloudaudit.googleapis.com" \
    --folder=FOLDER_ID

Führen Sie den folgenden Befehl aus, um Ihre Audit-Logeinträge auf Organisationsebene zu lesen:

gcloud logging read "logName : organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com" \
    --organization=ORGANIZATION_ID

Führen Sie den folgenden Befehl aus, um Ihre Audit-Logeinträge auf Cloud-Rechnungskontoebene zu lesen:

gcloud logging read "logName : billingAccounts/BILLING_ACCOUNT_ID/logs/cloudaudit.googleapis.com" \
    --billing-account=BILLING_ACCOUNT_ID

Fügen Sie Ihrem Befehl das Flag --freshness hinzu, um Logs zu lesen, die mehr als einen Tag alt sind.

Weitere Informationen zur Verwendung der gcloud CLI erhalten Sie unter gcloud logging read.

API

Geben Sie beim Erstellen von Abfragen in jedem Lognamen eine gültige Ressourcenkennung an. Wenn die Abfrage beispielsweise eine PROJECT_ID enthält, muss sich die von Ihnen angegebene Projekt-ID auf das aktuell ausgewählte Cloud-Projekt beziehen.

So können Sie beispielsweise mit der Logging API Ihre Audit-Logeinträge auf Projektebene aufrufen:

1. Rufen Sie den Abschnitt Diese API testen in der Dokumentation für die Methode entries.list auf.

2. Geben Sie im Teil Anfragetext des Formulars Diese API testen Folgendes ein. Wenn Sie auf dieses vorausgefüllte Formular klicken, wird der Anfragetext automatisch übernommen. Sie müssen jedoch in jedem der Lognamen eine gültige PROJECT_ID angeben.

   {
     "resourceNames": [
       "projects/PROJECT_ID"
     ],
     "pageSize": 5,
     "filter": "logName : projects/PROJECT_ID/logs/cloudaudit.googleapis.com"
   }
   

3. Klicken Sie auf Ausführen.

Audit-Logs weiterleiten

Sie können Audit-Logs auf dieselbe Weise wie andere Arten von Logs an unterstützte Ziele weiterleiten. Im Folgenden erfahren Sie, warum es sinnvoll sein kann, Ihre Audit-Logs weiterzuleiten:

• Sie können Kopien Ihrer Audit-Logs an Cloud Storage, BigQuery oder Pub/Sub weiterleiten, um Audit-Logs für einen längeren Zeitraum aufzubewahren oder leistungsfähigere Suchfunktionen zu nutzen. Mit Pub/Sub haben Sie die Möglichkeit, die Logs an andere Anwendungen, andere Repositories und Dritte weiterzuleiten.

• Zum organisationsübergreifenden Verwalten Ihrer Audit-Logs erstellen Sie aggregierte Senken, mit denen sich Logs aus beliebigen oder allen Cloud-Projekten in der Organisation weiterleiten lassen.

• Wenn die aktivierten Audit-Logs zum Datenzugriff dazu führen, dass Ihre Cloud-Projekte Ihre Logkontingente überschreiten, können Sie Senken erstellen, die die Audit-Logs zum Datenzugriff aus Logging ausschließen.

Eine Anleitung zum Routing von Logs finden Sie unter Senken konfigurieren und verwalten.

Preise

Informationen zu den Preisen für Cloud Logging finden Sie unter Preise für die Operations-Suite von Google Cloud: Cloud Logging.