Report sull'inventario di Storage Insights

La funzionalità del report sull'inventario di Storage Insights ti aiuta a gestire lo spazio di archiviazione degli oggetti su larga scala. È un'alternativa più rapida e pianificata all'operazione dell'API Objects: list.

I report sull'inventario contengono informazioni sui metadati relative agli oggetti, come la classe di archiviazione, l'ETag e il tipo di contenuto dell'oggetto. Queste informazioni consentono di analizzare i costi di archiviazione, controllare e convalidare gli oggetti e garantire la sicurezza e la conformità dei dati. Puoi esportare i report sull'inventario come file con valori separati da virgole (CSV) o Apache Parquet in modo da poterli analizzare ulteriormente utilizzando strumenti come BigQuery.

Questa pagina fornisce una panoramica della funzionalità del report sull'inventario di Storage Insights. Per istruzioni su come utilizzare la funzionalità, consulta Creare e gestire i report sull'inventario.

Panoramica dei report sull'inventario

I report sull'inventario contengono un elenco di oggetti e dei relativi metadati associati per un determinato bucket, noto anche come bucket di origine. Per generare i report sull'inventario, devi prima creare una configurazione dei report sull'inventario che definisce la frequenza di generazione dei report, i campi dei metadati da includere nei report e un bucket per generare e archiviare i report, noto anche come bucket di destinazione.

Quando crei una configurazione del report sull'inventario, viene assegnato automaticamente un identificatore univoco universale (UUID). Questo campo non è modificabile. Tuttavia, puoi modificare i seguenti campi di una configurazione del report sull'inventario:

  • Il nome visualizzato della configurazione del report sull'inventario
  • I campi dei metadati degli oggetti inclusi nei report sull'inventario
  • Il bucket di destinazione in cui vengono archiviati i report sull'inventario
  • La pianificazione che determina la frequenza con cui vengono generati i report sull'inventario
  • Il formato del file in cui vengono generati i report sull'inventario (CSV o Apache Parquet)

Quando elimini una configurazione di report sull'inventario, i nuovi report sull'inventario non vengono più generati per la configurazione, ma i report sull'inventario esistenti rimangono.

Bucket di origine e destinazione

Il bucket di origine contiene gli oggetti per i quali vuoi generare i report sull'inventario. Contiene anche la configurazione dei report sull'inventario. Puoi avere fino a 100 configurazioni dei report sull'inventario in un bucket di origine.

Il bucket di destinazione memorizza i report sull'inventario generati. Il bucket di destinazione deve soddisfare i seguenti requisiti:

  • Deve trovarsi nella stessa posizione del bucket di origine.
  • Deve trovarsi nello stesso progetto del bucket di origine.
  • Può essere uguale al bucket di origine.

Quando crei per la prima volta una configurazione del report di inventario, viene creato automaticamente un agente di servizio per tuo conto. Per creare configurazioni dei report sull'inventario e scrivere report sull'inventario nel bucket di destinazione, sia tu che il tuo agente di servizio dovete disporre delle autorizzazioni IAM richieste. Consulta le autorizzazioni richieste per te e per il tuo agente di servizio.

Storage Insights utilizza i nomi dei bucket di origine e di destinazione per determinare quali utilizzare durante l'esecuzione dei job. Se elimini un bucket di origine o di destinazione e in un secondo momento ne crei uno nuovo con lo stesso nome, Storage Insights eseguirà i job utilizzando il nuovo bucket.

Campi dei metadati degli oggetti

I seguenti campi dei metadati possono essere inclusi in un report sull'inventario. I campi dei metadati contrassegnati come "Obbligatorio" devono essere inclusi nel report sull'inventario.

Campo metadati Descrizione Note
progetto L'ID del progetto in cui si trova il bucket di origine. Obbligatorio
bucket Il nome del bucket di origine. Obbligatorio
nome Il nome dell'oggetto. Obbligatorio
località La posizione del bucket di origine. Facoltativo
dimensioni Le dimensioni dell'oggetto. Facoltativo
timeCreated L'ora di creazione dell'oggetto nel formato RFC 3339. Facoltativo
timeDeleted L'ora di eliminazione dell'oggetto nel formato RFC 3339. Viene restituito se e solo se questa versione dell'oggetto non è più una versione live, ma rimane nel bucket come versione non corrente. Facoltativo
aggiornato La data e l'ora di modifica dei metadati dell'oggetto nel formato RFC 3339. Facoltativo
storageClass La classe di archiviazione dell'oggetto. Facoltativo
etag Tag entità HTTP 1.1 per l'oggetto. Facoltativo
retentionExpirationTime La data e l'ora più antiche in cui è possibile eliminare l'oggetto, che dipendono da eventuali configurazioni di conservazione impostate per l'oggetto e da eventuali criteri di conservazione impostati per il bucket che contiene l'oggetto. Il valore per retentionExpriationTime è fornito nel formato RFC 3339. Facoltativo
crc32c Il checksum CRC32C, come descritto nell'Appendice B del documento RFC 4960, codificato utilizzando base64 in ordine di byte big-endian. Per ulteriori informazioni sul controllo CRC32C, consulta la sezione Metadati degli oggetti. Facoltativo
md5Hash L'hash MD5 dei dati, codificato utilizzando base64. Questo campo non è presente per oggetti compositi. Per ulteriori informazioni sull'hash MD5, consulta Metadati degli oggetti. Facoltativo
di generazione La generazione dei contenuti di questo oggetto. Utilizzato per il controllo delle versioni degli oggetti. Facoltativo
metagenerazione La versione dei metadati di questo oggetto in questa generazione. Utilizzato per i prerequisiti e per rilevare le modifiche nei metadati. Un numero di metagenerazione è significativo solo nel contesto di una determinata generazione di un determinato oggetto. Facoltativo
contentType Il Content-Type dei dati dell'oggetto. Se un oggetto viene archiviato senza un attributo Content-Type, viene pubblicato come application/octet-stream. Facoltativo
contentEncoding Content-Encoding dei dati dell'oggetto. Facoltativo
timeStorageClassUpdated La data e l'ora dell'ultima modifica della classe di archiviazione dell'oggetto. Quando l'oggetto viene creato inizialmente, viene impostato su timeCreated. Facoltativo

Per ulteriori informazioni sui campi dei metadati degli oggetti, consulta Metadati degli oggetti.

Shard dei report sull'inventario

Quando un report sull'inventario contiene più di 1000000 di oggetti, Storage Insights genera uno o più oggetti shard per comporre il report sull'inventario. Quando tutti gli shard di un report sull'inventario sono stati generati correttamente, viene generato un file manifest nello stesso bucket di destinazione degli shard.

File manifest del report sull'inventario

La presenza di un file manifest indica che tutti gli shard che compongono un report sull'inventario sono stati generati. Il file manifest fornisce anche i nomi degli oggetti dei frammenti del report sull'inventario.

Il file manifest segue la convenzione di denominazioneREPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json, dove:

  • REPORT_CONFIG_UUID è l'UUID generato automaticamente della configurazione del report dell'inventario.

  • TARGET_DATETIME è la data e l'ora UTC generate automaticamente in cui viene generato un report sull'inventario.

Un esempio di nome file manifest è fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json.

Il file manifest.json contiene i seguenti campi compilati automaticamente:

{
  "report_config": REPORT_CONFIG_FIELDS,
  "records_processed": NUMBER_OF_INCLUDED_OBJECTS,
  "snapshot_time": "SNAPSHOT_TIME,
  "target_datetime": "TARGET_DATETIME,
  "shard_count": SHARD_COUNT,
  "report_shards_file_names": [
    SHARD_FILE_NAME
    ...]
}

Dove:

  • REPORT_CONFIG_FIELDS include i campi contenuti nella risorsa ReportConfig.

  • NUMBER_OF_INCLUDED_OBJECTS è il numero di oggetti inclusi nel report sull'inventario.

  • SNAPSHOT_TIME è la data e l'ora UTC generate automaticamente al momento in cui viene eseguito lo snapshot dei dati. Tutti i dati di un report di inventario vengono acquisiti nello snapshot.

  • TARGET_DATETIME è la data e l'ora UTC generate automaticamente in cui viene generato un report sull'inventario.

  • SHARD_COUNT è il numero totale di frammenti generati che compongono il report sull'inventario.

  • SHARD_FILE_NAME è il nome di uno shard che compone un report sull'inventario.

Un esempio di file manifest.json è il seguente:

{
  "report_config":
     {
       "name": "projects/123456789098/locations/us/reportConfigs/fcec5187-afa6-48b0-938a-543d16493dc0",
       "createTime": "2023-06-08T08:07:53.397366139Z",
       "updateTime": "2023-06-08T08:07:53.552347723Z",
       "frequencyOptions": {
         "frequency": "DAILY",
         "startDate": {
           "year": 2023,
           "month": 6,
           "day": 9
         }
         "endDate": {
           "year": 2023,
           "month": 6,
           "day": 23
         }
       },
       "csvOptions": {
         "recordSeparator": "\n",
         "delimiter": ","
       },
       "objectMetadataReportOptions": {
         "metadataFields": [
           "project",
           "bucket",
           "name",
           "location",
           "updated",
           "storageClass",
         ],
         "storageFilters": {
           "bucket": "my-test-bucket"
         },
         "storageDestinationOptions": {
           "bucket": "example-bucket",
           "destinationPath": "folder/subfolder"
         }
       }
     },
  "records_processed": 3993900,
  "snapshot_time" : "2023-06-06T00:07:27Z",
  "target_datetime": {
    "year": 2023,
    "month": 6,
    "day": 6
  },
  "shard_count": 4,
  "report_shards_file_names": [
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv",
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_1.csv",
    ...
  ],
}

Prezzi e località dei bucket supportate

Storage Insights è soggetto a prezzi, in cui ogni milione di oggetti contenuti in un report di inventario viene addebitato ai prezzi riportati di seguito, a seconda della località di archiviazione. Per ulteriori informazioni sulle località di archiviazione, consulta Località dei bucket.

Località supportate

Località Regione Prezzi
Asia
Taiwan (asia-east1) 0,0025 $ per un milione di oggetti
Hong Kong (asia-east2) 0,0028 $ per un milione di oggetti
Tokyo (asia-northeast1) 0,0028 $ per un milione di oggetti
Osaka (asia-northeast2) 0,0028 $ per un milione di oggetti
Seul (asia-northeast3) 0,0028 $ per un milione di oggetti
Singapore (asia-southeast1) 0,0025 $ per un milione di oggetti
Australia
Sydney (australia-southeast1) 0,0028 $ per un milione di oggetti
Melbourne (australia-southeast2) 0,0028 $ per un milione di oggetti
Europa
Varsavia (europe-central2) 0,0028 $ per un milione di oggetti
Finlandia (europe-north1) 0,0025 $ per un milione di oggetti
Madrid (europe-southwest1) 0,0028 $ per un milione di oggetti
Belgio (europe-west1) 0,0025 $ per un milione di oggetti
Londra (europe-west2) 0,0028 $ per un milione di oggetti
Francoforte (europe-west3) 0,0028 $ per un milione di oggetti
Paesi Bassi (europe-west4) 0,0025 $ per un milione di oggetti
Zurigo (europe-west6) 0,0031 $ per un milione di oggetti
Milano (europe-west8) 0,0028 $ per un milione di oggetti
Parigi (europe-west9) 0,0028 $ per un milione di oggetti
India
Mumbai (asia-south1) 0,0028 $ per un milione di oggetti
Delhi (asia-south2) 0,0028 $ per un milione di oggetti
Indonesia
Giacarta (asia-southeast2) 0,0028 $ per un milione di oggetti
Medio Oriente
Tel Aviv (me-west1) 0,0026 $ per un milione di oggetti
Nord America
Montréal (northamerica-northeast1) 0,0028 $ per un milione di oggetti
Toronto (northamerica-northeast2) 0,0028 $ per un milione di oggetti
Iowa (us-central1) 0,0025 $ per un milione di oggetti
Carolina del Sud (us-east1) 0,0025 $ per un milione di oggetti
Virginia del Nord (us-east4) 0,0028 $ per un milione di oggetti
Columbus (us-east5) 0,0025 $ per un milione di oggetti
Oregon (us-west1) 0,0025 $ per un milione di oggetti
Los Angeles (us-west2) 0,0028 $ per un milione di oggetti
Salt Lake City (us-west3) 0,0028 $ per un milione di oggetti
Las Vegas (us-west4) 0,0028 $ per un milione di oggetti
Dallas (us-south1) 0,0025 $ per un milione di oggetti
Sud America
San Paolo (southamerica-east1) 0,0043 $ per un milione di oggetti
Santiago (southamerica-west1) 0,0037 $ per un milione di oggetti
Più regioni
Asia (asia) 0,0028 $ per un milione di oggetti
Europa (eu) 0,0028 $ per un milione di oggetti
Stati Uniti (us) 0,0028 $ per un milione di oggetti
A due regioni
Tokyo/Osaka (asia1) 0,0028 $ per un milione di oggetti
Finlandia/Paesi Bassi (eur4) 0,0028 $ per un milione di oggetti
Iowa/Carolina del Sud (nam4) 0,0028 $ per un milione di oggetti

Audit logging

Cloud Storage crea audit log quando i report sull'inventario vengono generati nel bucket di destinazione. Storage Insights genera log di controllo ogni volta che le configurazioni dei report sull'inventario vengono create, aggiornate o eliminate.

Cloud Storage non crea log di controllo quando una configurazione del report di inventario legge i metadati degli oggetti da un bucket di origine.

Integrazione con i Controlli di servizio VPC

Puoi fornire un ulteriore livello di sicurezza per le risorse di Storage Insights utilizzando i Controlli di servizio VPC. Quando utilizzi Controlli di servizio VPC, aggiungi progetti ai perimetri di servizio che proteggono le risorse e i servizi dalle richieste provenienti dall'esterno del perimetro. Per scoprire di più sui Controlli di servizio VPC e sui perimetri di servizio, consulta Dettagli e configurazione dei perimetri di servizio.

Limitazione

L'attivazione del filtro IP sui bucket Cloud Storage impedisce a Storage Insights di accedere al bucket, indipendentemente dal fatto che utilizzi un agente di servizio per interagire con Cloud Storage. Per evitare interruzioni del servizio, ti consigliamo di non utilizzare i filtri IP sui bucket Cloud Storage se stai creando report sull'inventario per quel bucket.

Passaggi successivi

Scopri come creare una configurazione dei report di inventario e inizia a generare report sull'inventario.