Inventarberichte für Storage Insights

Mit dem Feature "Storage Insights-Inventarbericht" können Sie Ihren Objektspeicher im großen Maßstab verwalten. Dies ist eine schnellere und planbare Alternative zum API-Vorgang Objects: list.

Inventarberichte enthalten Metadateninformationen zu Ihren Objekten, z. B. die Speicherklasse des Objekts, das ETag und den Inhaltstyp. Mit diesen Informationen können Sie Ihre Speicherkosten analysieren, Objekte prüfen und validieren sowie Datensicherheit und Compliance . Sie können Inventarberichte als CSV- oder als Apache Parquet-Dateien exportieren und sie dann mit Tools wie BigQuery weiter analysieren.

Diese Seite bietet einen Überblick über die Funktion der Storage Insights-Inventarbericht. Eine Anleitung zur Verwendung des Features finden Sie unter Inventarberichte erstellen und verwalten.

Übersicht über Inventarberichte

Inventarberichte enthalten eine Liste von Objekten und zugehörigen Metadaten für einen bestimmten Bucket, der auch als Quell-Bucket bezeichnet wird. Um Inventarberichte zu generieren, müssen Sie zuerst eine Inventarberichtskonfiguration erstellen, die definiert, wie oft die Berichte generiert werden, welche Metadatenfelder die Berichte enthalten sollen und welcher Bucket, auch als Ziel-Bucket bezeichnet, zum Erstellen und Speichern der Berichte verwendet werden soll.

Beim Erstellen einer Inventarberichtskonfiguration wird ihr automatisch eine UUID (Universally Unique Identifier) zugewiesen. Dieses Feld kann nicht bearbeitet werden. Sie können jedoch die folgenden Felder einer Inventarberichtskonfiguration bearbeiten:

Den Anzeigenamen der Inventarberichtskonfiguration
Die Objektmetadatenfelder, die in den Inventarberichten enthalten sind
Den Ziel-Bucket, in dem die Inventarberichte gespeichert werden
Den Zeitplan, der bestimmt, wie oft Inventarberichte generiert werden
Das Dateiformat, in dem Inventarberichte generiert werden (CSV oder Apache Parquet)

Wenn Sie eine Inventarberichtskonfiguration löschen, werden für die Konfiguration keine neuen Inventarberichte mehr erstellt. Vorhandene Inventarberichte bleiben jedoch erhalten.

Quell- und Ziel-Buckets

Der Quell-Bucket enthält die Objekte, für die Sie Inventarberichte generieren möchten. Er enthält auch die Inventarberichtskonfiguration. Sie können in einem Quell-Bucket bis zu 100 Inventarberichtskonfigurationen haben.

Der Ziel-Bucket speichert die generierten Inventarberichte. Der Ziel-Bucket muss die folgenden Anforderungen erfüllen:

Er muss sich am selben Standort wie der Quell-Bucket befinden.
Er muss sich im selben Projekt wie der Quell-Bucket befinden.
Er kann mit dem Quell-Bucket identisch sein.

Wenn Sie zum ersten Mal eine Inventarberichtskonfiguration erstellen, wird automatisch ein Dienst-Agent für Sie erstellt. Um Inventarberichtskonfigurationen zu erstellen und Inventarberichte in den Ziel-Bucket zu schreiben, müssen sowohl Sie als auch Ihr Dienst-Agent die erforderlichen IAM-Berechtigungen haben. Sehen Sie sich die für Sie und Ihren Dienst-Agent erforderlichen Berechtigungen an.

Storage Insights verwendet die Namen der Quell- und Ziel-Buckets, um zu bestimmen, welche Buckets beim Ausführen von Jobs verwendet werden sollen. Wenn Sie einen Quell- oder Ziel-Bucket löschen und später einen neuen Bucket mit demselben Namen erstellen, führt Storage Insights Jobs mit dem neuen Bucket aus.

Felder für Objektmetadaten

Die folgenden Metadatenfelder können in einem Inventarbericht enthalten sein. Metadatenfelder, die als "erforderlich" gekennzeichnet sind, müssen im Inventarbericht enthalten sein.

Metadatenfeld	Beschreibung	Hinweise
Projekt	Die ID des Projekts, in dem sich der Quell-Bucket befindet.	Erforderlich
Bucket	Der Name des Quell-Buckets.	Erforderlich
Name	Der Name des Objekts.	Erforderlich
Standort	Der Standort des Quell-Buckets.	Optional
Größe	Die Größe des Objekts.	Optional
timeCreated	Die Erstellungszeit des Objekts im RFC 3339-Format.	Optional
timeDeleted	Die Löschzeit des Objekts im RFC 3339-Format. Wird nur zurückgegeben, wenn diese Version des Objekts keine Live-Version mehr ist, aber im Bucket als nicht aktuelle Version verbleibt.	Optional
aktualisiert	Die Änderungszeit der Objektmetadaten im Format RFC 3339.	Optional
storageClass	Die Speicherklasse des Objekts.	Optional
etag	HTTP 1.1-Entitäts-Tag für das Objekt.	Optional
retentionExpirationTime	Der früheste Zeitpunkt, zu dem das Objekt gelöscht werden kann. Dies hängt von der für das Objekt festgelegten Aufbewahrungskonfiguration und der für das Bucket, der das Objekt enthält, festgelegten Aufbewahrungsrichtlinie ab. Der Wert für `retentionExpriationTime` wird im RFC 3339-Format angegeben.	Optional
crc32c	Die CRC32C-Prüfsumme, wie in RFC 4960 Anhang B beschrieben, mit base64 in Big-Endian-Bytereihenfolge codiert. Weitere Informationen zur CRC32C-Prüfsumme finden Sie unter Objektmetadaten.	Optional
md5Hash	Der MD5-Hash der Daten, codiert mit base64. Dieses Feld ist für zusammengesetzte Objekte nicht vorhanden. Weitere Informationen zum MD5-Hash finden Sie unter Objektmetadaten.	Optional
Generierung	Die Inhaltsgenerierung dieses Objekts. Wird für die Objektversionsverwaltung verwendet.	Optional
metageneration	Die Version der Metadaten für dieses Objekt bei dieser Generierung. Wird für Vorbedingungen und zur Erkennung von Änderungen an Metadaten verwendet. Eine metageneration-Nummer ist nur im Kontext einer bestimmten Generierung eines bestimmten Objekts sinnvoll.	Optional
contentType	Der Inhaltstyp (Content-Type) der Objektdaten. Wenn ein Objekt ohne Inhaltstyp gespeichert wird, wird es als „application/octet-stream“ bereitgestellt.	Optional
contentEncoding	Die Inhaltscodierung (Content-Encoding) der Objektdaten.	Optional
timeStorageClassUpdated	Der Zeitpunkt, zu dem die Speicherklasse des Objekts zuletzt geändert wurde. Bei der Erstellung des Objekts wird der auf timeCreated gesetzt.	Optional

Weitere Informationen zu Objektmetadatenfeldern finden Sie unter Objektmetadaten.

Shards des Inventarberichts

Wenn ein Inventarbericht mehr als 1.000.000 Objekte enthält, generiert Storage Insights ein oder mehrere Shard-Objekte, aus denen der Inventarbericht besteht. Wenn alle Shards eines Inventarberichts erfolgreich generiert wurden, wird eine Manifestdatei im selben Ziel-Bucket generiert wie die Shards.

Manifestdatei des Inventarberichts

Das Vorhandensein einer Manifestdatei weist darauf hin, dass alle Shards eines Inventarberichts generiert wurden. Die Manifestdatei enthält auch die Namen der Shard-Objekte des Inventarberichts.

Die Manifestdatei folgt der Namenskonvention REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json. Dabei gilt:

REPORT_CONFIG_UUID ist die automatisch generierte UUID der Inventarberichtskonfiguration.
TARGET_DATETIME ist das automatisch generierte UTC-Datum und die automatische Uhrzeit, zu der ein Inventarbericht generiert wird.

Ein Beispiel für eine Manifestdatei ist fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json.

Die Datei manifest.json enthält die folgenden automatisch ausgefüllten Felder:

{
  "report_config": REPORT_CONFIG_FIELDS,
  "records_processed": NUMBER_OF_INCLUDED_OBJECTS,
  "snapshot_time": "SNAPSHOT_TIME,
  "target_datetime": "TARGET_DATETIME,
  "shard_count": SHARD_COUNT,
  "report_shards_file_names": [
    SHARD_FILE_NAME
    ...]
}

Dabei gilt:

REPORT_CONFIG_FIELDS enthält Felder, die in der ReportConfig-Ressource enthalten sind.
NUMBER_OF_INCLUDED_OBJECTS ist die Anzahl der Objekte im Inventarbericht.
SNAPSHOT_TIME ist der automatisch generierte UTC-Datum/Uhrzeit-Wert, zu dem der Daten-Snapshot auftritt. Alle Daten in einem Inventarbericht werden im Snapshot erfasst.
TARGET_DATETIME ist der automatisch generierte UTC-Datum/Uhrzeit-Wert, zu dem ein Inventarbericht generiert wird.
SHARD_COUNT ist die Gesamtzahl der generierten Shards, aus denen der Inventarbericht besteht.
SHARD_FILE_NAME ist der Name eines Shards, der aus einem Inventarbericht besteht.

Eine manifest.json-Beispieldatei sieht so aus:

{
  "report_config":
     {
       "name": "projects/123456789098/locations/us/reportConfigs/fcec5187-afa6-48b0-938a-543d16493dc0",
       "createTime": "2023-06-08T08:07:53.397366139Z",
       "updateTime": "2023-06-08T08:07:53.552347723Z",
       "frequencyOptions": {
         "frequency": "DAILY",
         "startDate": {
           "year": 2023,
           "month": 6,
           "day": 9
         }
         "endDate": {
           "year": 2023,
           "month": 6,
           "day": 23
         }
       },
       "csvOptions": {
         "recordSeparator": "\n",
         "delimiter": ","
       },
       "objectMetadataReportOptions": {
         "metadataFields": [
           "project",
           "bucket",
           "name",
           "location",
           "updated",
           "storageClass",
         ],
         "storageFilters": {
           "bucket": "my-test-bucket"
         },
         "storageDestinationOptions": {
           "bucket": "example-bucket",
           "destinationPath": "folder/subfolder"
         }
       }
     },
  "records_processed": 3993900,
  "snapshot_time" : "2023-06-06T00:07:27Z",
  "target_datetime": {
    "year": 2023,
    "month": 6,
    "day": 6
  },
  "shard_count": 4,
  "report_shards_file_names": [
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv",
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_1.csv",
    ...
  ],
}

Preise und unterstützte Bucket-Standorte

Für Storage Insights gelten bestimmte Preise. Dabei wird jede Million von in einem Inventarbericht enthaltenen Objekten abhängig vom Speicherstandort mit den unten aufgeführten Preisen abgerechnet. Weitere Informationen zu Speicherorten finden Sie unter Bucket-Standorte.

Unterstützte Standorte

Standort	Region	Preise
Asien
	Taiwan (`asia-east1`)	0,0025 $/eine Million Objekte
	Hongkong (`asia-east2`)	0,0028 $/eine Million Objekte
	Tokio (`asia-northeast1`)	0,0028 $/eine Million Objekte
	Osaka (`asia-northeast2`)	0,0028 $/eine Million Objekte
	Seoul (`asia-northeast3`)	0,0028 $/eine Million Objekte
	Singapur (`asia-southeast1`)	0,0025 $/eine Million Objekte
Australien
	Sydney (`australia-southeast1`)	0,0028 $/eine Million Objekte
	Melbourne (`australia-southeast2`)	0,0028 $/eine Million Objekte
Europa
	Warschau (`europe-central2`)	0,0028 $/eine Million Objekte
	Finnland (`europe-north1`)	0,0025 $/eine Million Objekte
	Madrid (`europe-southwest1`)	0,0028 $/eine Million Objekte
	Belgien (`europe-west1`)	0,0025 $/eine Million Objekte
	London (`europe-west2`)	0,0028 $/eine Million Objekte
	Frankfurt (`europe-west3`)	0,0028 $/eine Million Objekte
	Niederlande (`europe-west4`)	0,0025 $/eine Million Objekte
	Zürich (`europe-west6`)	0,0031 $/eine Million Objekte
	Mailand (`europe-west8`)	0,0028 $/eine Million Objekte
	Paris (`europe-west9`)	0,0028 $/eine Million Objekte
Indien
	Mumbai (`asia-south1`)	0,0028 $/eine Million Objekte
	Delhi (`asia-south2`)	0,0028 $/eine Million Objekte
Indonesien
	Jakarta (`asia-southeast2`)	0,0028 $/eine Million Objekte
Naher Osten
	Tel Aviv (`me-west1`)	0,0026 $/eine Million Objekte
Nordamerika
	Montreal (`northamerica-northeast1`)	0,0028 $/eine Million Objekte
	Toronto (`northamerica-northeast2`)	0,0028 $/eine Million Objekte
	Iowa (`us-central1`)	0,0025 $/eine Million Objekte
	South Carolina (`us-east1`)	0,0025 $/eine Million Objekte
	Virginia (`us-east4`)	0,0028 $/eine Million Objekte
	Columbus (`us-east5`)	0,0025 $/eine Million Objekte
	Oregon (`us-west1`)	0,0025 $/eine Million Objekte
	Los Angeles (`us-west2`)	0,0028 $/eine Million Objekte
	Salt Lake City (`us-west3`)	0,0028 $/eine Million Objekte
	Las Vegas (`us-west4`)	0,0028 $/eine Million Objekte
	Dallas (`us-south1`)	0,0025 $/eine Million Objekte
Südamerika
	Sao Paulo (`southamerica-east1`)	0,0043 $/eine Million Objekte
	Santiago (`southamerica-west1`)	0,0037 $/eine Million Objekte
Multiregionen
	Asien (`asia`)	0,0028 $/eine Million Objekte
	Europa (`eu`)	0,0028 $/eine Million Objekte
	Vereinigte Staaten (`us`)	0,0028 $/eine Million Objekte
Dual-Regionen
	Tokyo/Osaka (`asia1`)	0,0028 $/eine Million Objekte
	Finnland/Niederlande (`eur4`)	0,0028 $/eine Million Objekte
	Iowa/South Carolina (`nam4`)	0,0028 $/eine Million Objekte

Audit-Logging

Cloud Storage erstellt Audit-Logs, wenn Inventarberichte im Ziel-Bucket generiert werden. Storage Insights generiert Audit-Logs, wenn Konfigurationen für Inventarberichte erstellt, aktualisiert oder gelöscht werden.

Cloud Storage erstellt keine Audit-Logs, wenn eine Inventarberichtskonfiguration Objektmetadaten aus dem Quell-Bucket liest.

VPC Service Controls einbinden

Mit VPC Service Controls können Sie eine zusätzliche Sicherheitsebene für Storage Insights-Ressourcen bereitstellen. Wenn Sie VPC Service Controls verwenden, fügen Sie Projekte in Dienstperimeter ein. Diese schützen Ressourcen und Dienste vor Anfragen, die ihren Ursprung außerhalb des Perimeters haben. Weitere Informationen zu VPC Service Controls und Dienstperimetern finden Sie unter Details und Konfigurationen zu Dienstperimetern.

Nächste Schritte

Erfahren Sie, wie Sie eine Inventarberichtskonfiguration erstellen und Inventarberichte generieren können.