Kosten für Audit-Logs zum Datenzugriff verwalten

Bigtable wird normalerweise für große Arbeitslasten mit hohem Volumen verwendet. Wenn Sie das Log-Volume nicht verwalten, kann Bigtable eine extrem hohe Anzahl von DATA_READ- und DATA_WRITE-Logs generieren, was zu unerwartet hohen Logspeicherkosten führt. Wenn Sie das Audit-Logging für den Datenzugriff verwenden, sollten Sie Schritte zur Verwaltung des Logvolumens ausführen.

Wenn Sie die Best Practices für die Bigtable-Authentifizierung befolgen, werden die meisten Audit-Logs für den Datenzugriff von Dienstkonten generiert. Ein Dienstkonto ist ein Konto, mit dem eine Anwendung sich authentifiziert und API-Aufrufe an Google Cloud-Dienste wie Bigtable ausführt. Die Verwaltung von Dienstkonto-Logs ist der wichtigste Schritt, um das Logvolumen zu reduzieren. Eventuell möchten Sie die Logs auch mit anderen Kriterien einschränken.

Sie können das Datenzugriffs-Audit-Logging für Bigtable auf folgende Arten aktivieren:

Gehen Sie nach dem Aktivieren des Audit-Loggings folgendermaßen vor, um das Logvolumen einzuschränken.

Dienstkonten identifizieren

Identifizieren Sie zuerst die Dienstkonten, für die Sie keine Logs benötigen. Die Liste der Dienstkonten, die nicht nützlich sind und nicht protokolliert werden sollen, hängt von Ihren Anwendungs- und Geschäftsanforderungen ab. Eine Liste der Dienstkonten mit Cloud Bigtable API-Berechtigungen (Data API) erhalten Sie, wenn Sie IAM-Richtlinien für Ihre Organisation suchen. Sie können sie sich auch auf der Seite der IAM-Berechtigungen in der Google Cloud Console auf dem Tab Hauptkonten ansehen.

Logeinschränkungen einrichten

Richten Sie als Nächstes die Logeinschränkungen ein. Es gibt zwei Möglichkeiten, das Bigtable-Logvolumen zu verwalten, indem Sie die Logs der Dienstkonten beschränken. Sie können entweder Dienstkonten mit der Audit-Konfiguration ausschließen oder Dienstkonto-Logs mit Ausschlussfiltern für Logs ausschließen. Für jede Methode können Sie entweder die Cloud Logging API oder die Google Cloud Console verwenden.

Dienstkonten mit Audit-Konfiguration ausschließen

Das Ausschließen von Dienstkonten mit der Audit-Konfiguration ist der empfohlene Ansatz, da Sie damit verhindern können, dass bestimmte Logs überhaupt generiert werden. Eine ausführliche Anleitung finden Sie hier:

Dienstkonten mit Ausschlussfiltern ausschließen

Mit Ausschlussfiltern können Sie Logs angeben, die von der Aufnahme in Ihre Log-Buckets ausgeschlossen werden sollen. Bei diesem Ansatz werden Logs nach der Erstellung verworfen, sodass für die Bigtable-Dienstkomponenten, über die Ihre Daten bereitgestellt werden, weiterhin eine Verarbeitungslast entsteht. Aufgrund dieser Last empfehlen wir stattdessen die Verwendung der Audit-Konfiguration. Weitere Informationen zum Einrichten von Filtern mit der Google Cloud Console und der API finden Sie unter Senke erstellen.

Kosten für Audit-Logs zum Datenzugriff schätzen

Da Bigtable normalerweise für große Arbeitslasten mit hohem Volumen verwendet wird, kann es eine extrem hohe Anzahl von Logs generieren. Bevor Sie das Audit-Logging für den Datenzugriff für Bigtable aktivieren, sollten Sie Informationen zu den Aufnahme- und Speicherkosten von Cloud-Audit-Logs für das Audit-Logging pro Monat erforderlich ist.

Die Kosten des Audit-Loggings für den Datenzugriff beziehen sich direkt auf die Anzahl der Bigtable-Anfragen, die Sie jeden Monat protokollieren. Die folgende Tabelle enthält grobe Schätzungen der Cloud-Audit-Log-Kosten, die Sie basierend auf Ihren durchschnittlichen Anfragen pro Sekunde und der Dauer des Speicherns Ihrer Logs erwarten können. Vorausgesetzt wird, dass Sie alle Datenanfragen protokollieren. Eine ausführliche Erläuterung dazu finden Sie unter Kosten berechnen.

Durchschnittliche Anfragen pro Sekunde Logaufbewahrungszeit Ungefähre monatliche Kosten
1.000 30 1,197 $
1.000 90 1,246 $
10.000 30 12,195 $
10.000 90 12,684 $
100.000 30 122,177 $
100.000 90 124,621 $

Kosten berechnen

Beginnen Sie mit den folgenden Annahmen:

  • Die Anzahl der Sekunden in einem durchschnittlichen Monat beträgt etwa 2.628.000.
  • Die durchschnittliche Auditgröße beträgt etwa 1 KB.
  • Die ersten 50 GiB an Audit-Logs, die pro Monat aufgenommen werden, sind kostenlos. Danach werden Ihnen 0,50 $/GiB berechnet.
  • Der Speicher ist 30 Tage lang kostenlos. Danach werden Ihnen 0,01 $/GiB für den Speicher berechnet.

Die auf dieser Seite beschriebene Methode liefert eine Bruttoschätzung basierend auf dem gesamten Traffic. Für die Produktion wird empfohlen, das Logging von Dienstkonten einzuschränken.

Monatliches Logvolumen berechnen

Schätzen Sie zuerst die durchschnittliche Anzahl von Logs, die Ihr Traffic in einem durchschnittlichen Monat generieren wird.

  1. Erfassen Sie die durchschnittliche Anzahl von Anfragen pro Sekunde, die Ihre Anwendung im Laufe eines Monats an Bigtable sendet.
    • Wenn Sie clientseitige Messwerte verwenden, können Sie diese verwenden, um Ihre durchschnittlichen Abfragen pro Sekunde für den letzten Monat zu ermitteln.
    • Wenn Sie in der Google Cloud Console die Seite „Monitoring“ Ihrer Instanz verwenden möchten, können Sie damit die durchschnittlichen Werte für Lese- und Schreibanfragen pro Sekunde im letzten Monat ermitteln und dann diese beiden Werte addieren.
  2. Multiplizieren Sie die Anfragen pro Sekunde mit 2.628.000, um die durchschnittlichen Anfragen pro Monat zu erhalten.
  3. Teilen Sie diese Zahl durch 10e6 oder 1.000.000. Das Ergebnis ist das geschätzte monatliche Logvolumen in GB, das Sie monatlich generieren werden.
  4. Multiplizieren Sie das monatliche Logvolumen in GB mit 0,93, um das ungefähre monatliche Logvolumen in GiB zu ermitteln.

Aufnahmekosten berechnen

  1. Ziehen Sie 50 GiB vom monatlich berechneten Logvolumen in GiB ab. Die ersten 50 GiB sind kostenlos.
  2. Multiplizieren Sie den Rest mit 0,50 $, um die geschätzten monatlichen Kosten für die Aufnahme zu ermitteln.

Speicherkosten berechnen

  1. Wenn Sie Ihre Logs nach 30 Tagen ablaufen lassen möchten, betragen die Speicherkosten 0,00 $.
  2. Wenn Sie Ihre Logs länger als 30 Tage speichern, können Sie Ihre Speicherkosten schätzen, indem Sie das monatliche Logvolumen mit 0,01 $ multiplizieren. Diese Kosten fallen erst nach dem ersten Monat an.

Detailliertes Beispiel

5.000 Anfragen pro Sekunde, Logs für 90 Tage aufbewahrt

Angenommen, Ihre durchschnittliche Anzahl von Anfragen pro Sekunde beträgt 5.000 und Sie möchten die Logs 90 Tage lang aufbewahren. Mithilfe der Schritte auf dieser Seite berechnen Sie die folgenden Schätzungen:

  • Multiplizieren Sie 5.000 mit 2.628.000, um 13.140.000.000 Anfragen pro Monat zu erhalten.
  • 13.140.000.000 durch 10e6 teilen, um ein monatliches Logvolumen von etwa 13.140 GB zu erhalten.
  • Konvertieren Sie diese Zahl in GiB, indem Sie sie mit 0,93 multiplizieren, um 12.220 zu erhalten.
  • Subtrahieren Sie 50 GiB von Ihrem monatlichen Logvolumen,um 12.170 GiB zu erhalten.
  • Multiplizieren Sie das Ergebnis mit 0,50 $, um 6,085 $ an Aufnahmekosten zu erhalten.
  • Für den ersten Monat, in dem Ihre Logs vorhanden sind, betragen die Speicherkosten 0 $.
  • Im zweiten Monat belaufen sich die Logspeicherkosten auf 12.170 multipliziert mit 0,01 $ oder etwa 122 $.
  • Nach dem zweiten Monat sind die Speicherkosten jeden Monat doppelt so hoch oder 244 $.
  • Nach dem zweiten Monat betragen die geschätzten Kosten des Audit-Loggings für den Datenzugriff etwa 6,329 $pro Monat.

Dies wird in einer Gleichung dargestellt: (((((5,000 rps * 2,628,000 sec)/1,000,000) * .93) - 50 GiB) * 0.50 $) + 122 $ = 6,207 $.

In diesem Beispiel belaufen sich die monatlichen Kosten für das Datenzugriffs-Logging auf etwa 6,329 $ pro Monat.

Nächste Schritte