La funzionalità di report sull'inventario di Storage Insights consente di gestire l'oggetto
e archiviazione su larga scala. Si tratta di un'alternativa più rapida e pianificata al
Operazione API Objects: list
.
I report sull'inventario contengono informazioni sui metadati sugli oggetti, come classe di archiviazione, ETag e tipo di contenuti dell'oggetto. Queste informazioni ti aiutano ad analizzare i costi di archiviazione, controllare e convalidare gli oggetti e garantire la sicurezza dei dati e conformità. Puoi esportare i report sull'inventario come valori separati da virgole (CSV) o Apache Parquet per analizzarli ulteriormente con strumenti come BigQuery.
Questa pagina fornisce una panoramica del report sull'inventario di Storage Insights funzionalità. Per istruzioni su come utilizzare la funzione, vedi Crea e gestisci i report sull'inventario.
Panoramica dei report sull'inventario
I report sull'inventario contengono un elenco di oggetti e i relativi metadati associati per per un determinato bucket, chiamato anche bucket di origine. Per generare inventario report, devi prima creare una configurazione del report sull'inventario che definisca frequenza di generazione dei report, i campi dei metadati a cui si desidera includere e un bucket per generare e archiviare i report, noto anche come bucket di destinazione.
Quando crei una configurazione dei report sull'inventario, questa riceve automaticamente ha assegnato un UUID (Universally Unique Identifier). Questo campo non è modificabile. Tuttavia, puoi modificare i seguenti campi di un report sull'inventario configurazione:
- Il nome visualizzato della configurazione del report sull'inventario
- I campi dei metadati degli oggetti inclusi nei report sull'inventario
- Il bucket di destinazione in cui sono archiviati i report sull'inventario
- La pianificazione che determina la frequenza di generazione dei report sull'inventario
- Il formato file in cui vengono generati i report sull'inventario (CSV o Apache Parquet)
Quando elimini una configurazione dei report sull'inventario, i nuovi report sull'inventario non vengono generate per la configurazione, ma i report sull'inventario esistenti rimanenti.
Bucket di origine e di destinazione
Il bucket di origine contiene gli oggetti per i quali generare report sull'inventario. Contiene anche la configurazione del report sull'inventario. Puoi avere fino a 100 configurazioni dei report sull'inventario in un bucket di origine.
Il bucket di destinazione archivia i report sull'inventario generati. La destinazione Il bucket deve soddisfare i seguenti requisiti:
- Deve trovarsi nella stessa località del bucket di origine.
- Deve trovarsi nello stesso progetto del bucket di origine.
- Può essere uguale al bucket di origine.
Quando crei per la prima volta la configurazione di un report sull'inventario, un agente di servizio automaticamente per tuo conto. Per creare un report sull'inventario configurazioni e scrivere report sull'inventario nel bucket di destinazione, e l'agente di servizio deve disporre delle autorizzazioni IAM richieste. Visualizza le autorizzazioni richieste per te e per il tuo agente di servizio.
Storage Insights utilizza i bucket di origine e di destinazione per determinare e i bucket da utilizzare durante l'esecuzione dei job. Se elimini un'origine o una destinazione nel bucket e in seguito ne creerà uno nuovo con lo stesso nome, Storage Insights. i job usando il nuovo bucket.
Campi dei metadati degli oggetti
I seguenti campi di metadati possono essere inclusi in un report sull'inventario. Campi dei metadati contrassegnati come "obbligatori" devono essere inclusi nel report sull'inventario.
Campo metadati | Descrizione | Note |
---|---|---|
progetto | L'ID del progetto in cui si trova il bucket di origine. | Obbligatorio |
bucket | Il nome del bucket di origine. | Obbligatorio |
nome | Il nome dell'oggetto. | Obbligatorio |
località | La posizione dell'origine di sincronizzare la directory di una VM con un bucket. | Facoltativo |
dimensioni | Le dimensioni dell'oggetto. | Facoltativo |
timeCreated | L'ora di creazione dell'oggetto in RFC 3339 formato. | Facoltativo |
timeDeleted | L'ora di eliminazione dell'oggetto in RFC 3339 formato. Restituito se e solo se questa versione dell'oggetto non è più una versione live, ma rimane nel bucket come versione non corrente. | Facoltativo |
aggiornato | L'ora di modifica dei metadati dell'oggetto in RFC 3339 formato. | Facoltativo |
storageClass | La classe di archiviazione del . | Facoltativo |
eTag | HTTP 1.1 Tag entità per l'oggetto. | Facoltativo |
retentionExpirationTime | Il primo momento in cui è possibile eliminare l'oggetto, che dipende
qualsiasi configurazione di conservazione
per l'oggetto e qualsiasi
conservazione
criterio impostato per il bucket che contiene l'oggetto. Il valore per
retentionExpriationTime è fornito in
RFC (RFC)
3339. |
Facoltativo |
crc32c | Il checksum CRC32C, come descritto in Appendice B nel documento RFC 4960 codificata utilizzando base64 in ordine di byte big-endian. Per ulteriori informazioni su CRC32C checksum, consulta Metadati degli oggetti. | Facoltativo |
md5Hash | L'hash MD5 dei dati, codificato utilizzando base64. Questo campo non è presente per oggetti composti. Per ulteriori informazioni sull'hash MD5, consulta Metadati degli oggetti. | Facoltativo |
di generazione | I contenuti generazione di questo oggetto. Utilizzato per il controllo delle versioni degli oggetti. | Facoltativo |
metagenerazione | La versione dei metadati per questo oggetto in questo punto generazione. Utilizzato per le precondizioni e per rilevare le modifiche nei metadati. Un numero di metagenerazione è significativo solo nel contesto di una particolare generazione di un particolare oggetto. | Facoltativo |
contentType | Il parametro Content-Type dei dati dell'oggetto. Se un oggetto viene archiviato senza un valore Content-Type, mentre viene gestito come flusso di applicazione/ottetto. | Facoltativo |
contentEncoding | La Content-Encoding dei dati dell'oggetto. | Facoltativo |
timeStorageClassUpdated | L'ora in cui l'oggetto classe di archiviazione era l'ultima è cambiato. Quando l'oggetto viene creato inizialmente, viene impostato su timeCreated. | Facoltativo |
Per ulteriori informazioni sui campi dei metadati degli oggetti, consulta Metadati dell'oggetto.
shard del report sull'inventario
Quando un report sull'inventario contiene più di 1.000.000 di oggetti, Storage Insights genera uno o più oggetti shard per comporre il report sull'inventario. Quando tutto gli shard di un report sull'inventario siano stati generati correttamente, un file manifest viene generato nello stesso bucket di destinazione degli shard.
File manifest del report sull'inventario
La presenza di un file manifest indica che tutti gli shard che compongono un è stato generato un report sull'inventario. Il file manifest fornisce anche i nomi degli oggetti shard del report sull'inventario.
Il file manifest segue la convenzione di denominazione
REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json
, dove:
REPORT_CONFIG_UUID
è l'UUID generato automaticamente del configurazione del report sull'inventario.TARGET_DATETIME
è la data UTC generata automaticamente e momento in cui viene generato un report sull'inventario.
Un esempio di nome di file manifest è
fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json
.
Il file manifest.json
contiene i seguenti campi compilati automaticamente:
{ "report_config": REPORT_CONFIG_FIELDS, "records_processed": NUMBER_OF_INCLUDED_OBJECTS, "snapshot_time": "SNAPSHOT_TIME, "target_datetime": "TARGET_DATETIME, "shard_count": SHARD_COUNT, "report_shards_file_names": [ SHARD_FILE_NAME ...] }
Dove:
REPORT_CONFIG_FIELDS
include i campi contenuti in della risorsa ReportConfig.NUMBER_OF_INCLUDED_OBJECTS
è il numero di oggetti incluse nel report sull'inventario.SNAPSHOT_TIME
è la data/ora UTC generata automaticamente alle ore in cui si trova lo snapshot dei dati. Tutti i dati di un report sull'inventario vengono acquisite nell'istantanea.TARGET_DATETIME
è la data/ora UTC generata automaticamente alle ore con cui viene generato un report sull'inventario.SHARD_COUNT
è il numero totale di shard generati che compongono il report sull'inventario.SHARD_FILE_NAME
è il nome di uno shard che consente di generare un report sull'inventario.
Un file manifest.json
di esempio ha il seguente aspetto:
{ "report_config": { "name": "projects/123456789098/locations/us/reportConfigs/fcec5187-afa6-48b0-938a-543d16493dc0", "createTime": "2023-06-08T08:07:53.397366139Z", "updateTime": "2023-06-08T08:07:53.552347723Z", "frequencyOptions": { "frequency": "DAILY", "startDate": { "year": 2023, "month": 6, "day": 9 } "endDate": { "year": 2023, "month": 6, "day": 23 } }, "csvOptions": { "recordSeparator": "\n", "delimiter": "," }, "objectMetadataReportOptions": { "metadataFields": [ "project", "bucket", "name", "location", "updated", "storageClass", ], "storageFilters": { "bucket": "my-test-bucket" }, "storageDestinationOptions": { "bucket": "example-bucket", "destinationPath": "folder/subfolder" } } }, "records_processed": 3993900, "snapshot_time" : "2023-06-06T00:07:27Z", "target_datetime": { "year": 2023, "month": 6, "day": 6 }, "shard_count": 4, "report_shards_file_names": [ "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv", "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_1.csv", ... ], }
Prezzi e località dei bucket supportate
Storage Insights è soggetto ai prezzi, in cui ogni milione di oggetti contenuto in un report sull'inventario viene addebitato al prezzo seguente, in base al posizione di archiviazione. Per ulteriori informazioni sulle posizioni di archiviazione, vedi Località dei bucket.
Località supportate
Località | Regione | Prezzi |
---|---|---|
Asia | ||
Taiwan (asia-east1 ) |
0,0025 $/un milione di oggetti | |
Hong Kong (asia-east2 ) |
0,0028 $/un milione di oggetti | |
Tokyo (asia-northeast1 ) |
0,0028 $/un milione di oggetti | |
Osaka (asia-northeast2 ) |
0,0028 $/un milione di oggetti | |
Seul (asia-northeast3 ) |
0,0028 $/un milione di oggetti | |
Singapore (asia-southeast1 ) |
0,0025 $/un milione di oggetti | |
Australia | ||
Sydney (australia-southeast1 ) |
0,0028 $/un milione di oggetti | |
Melbourne (australia-southeast2 ) |
0,0028 $/un milione di oggetti | |
Europa | ||
Varsavia (europe-central2 ) |
0,0028 $/un milione di oggetti | |
Finlandia (europe-north1 ) |
0,0025 $/un milione di oggetti | |
Madrid (europe-southwest1 ) |
0,0028 $/un milione di oggetti | |
Belgio (europe-west1 ) |
0,0025 $/un milione di oggetti | |
Londra (europe-west2 ) |
0,0028 $/un milione di oggetti | |
Francoforte (europe-west3 ) |
0,0028 $/un milione di oggetti | |
Paesi Bassi (europe-west4 ) |
0,0025 $/un milione di oggetti | |
Zurigo (europe-west6 ) |
0,0031 $/un milione di oggetti | |
Milano (europe-west8 ) |
0,0028 $/un milione di oggetti | |
Parigi (europe-west9 ) |
0,0028 $/un milione di oggetti | |
India | ||
Mumbai (asia-south1 ) |
0,0028 $/un milione di oggetti | |
Delhi (asia-south2 ) |
0,0028 $/un milione di oggetti | |
Indonesia | ||
Giacarta (asia-southeast2 ) |
0,0028 $/un milione di oggetti | |
Medio Oriente | ||
Tel Aviv (me-west1 ) |
0,0026 $/un milione di oggetti | |
Nord America | ||
Montréal (northamerica-northeast1 ) |
0,0028 $/un milione di oggetti | |
Toronto (northamerica-northeast2 ) |
0,0028 $/un milione di oggetti | |
Iowa (us-central1 ) |
0,0025 $/un milione di oggetti | |
Carolina del Sud (us-east1 ) |
0,0025 $/un milione di oggetti | |
Virginia del Nord (us-east4 ) |
0,0028 $/un milione di oggetti | |
Columbus (us-east5 ) |
0,0025 $/un milione di oggetti | |
Oregon (us-west1 ) |
0,0025 $/un milione di oggetti | |
Los Angeles (us-west2 ) |
0,0028 $/un milione di oggetti | |
Salt Lake City (us-west3 ) |
0,0028 $/un milione di oggetti | |
Las Vegas (us-west4 ) |
0,0028 $/un milione di oggetti | |
Dallas (us-south1 ) |
0,0025 $/un milione di oggetti | |
Sud America | ||
San Paolo (southamerica-east1 ) |
0,0043 $/un milione di oggetti | |
Santiago (southamerica-west1 ) |
0,0037 $/un milione di oggetti | |
Più regioni | ||
Asia (asia ) |
0,0028 $/un milione di oggetti | |
Europa (eu ) |
0,0028 $/un milione di oggetti | |
Stati Uniti (us ) |
0,0028 $/un milione di oggetti | |
Due regioni | ||
Tokyo/Osaka (asia1 ) |
0,0028 $/un milione di oggetti | |
Finlandia/Paesi Bassi (eur4 ) |
0,0028 $/un milione di oggetti | |
Iowa/Carolina del Sud (nam4 ) |
0,0028 $/un milione di oggetti |
Audit logging
Cloud Storage crea log di controllo quando i report sull'inventario vengono generate nel bucket di destinazione. Storage Insights genera audit log ogni volta che le configurazioni dei report sull'inventario vengono create, aggiornate o eliminate.
Cloud Storage non crea audit log quando un report sull'inventario legge i metadati degli oggetti da un bucket di origine.
Integrazione con i Controlli di servizio VPC
Puoi fornire un ulteriore livello di sicurezza per Storage Insights mediante i Controlli di servizio VPC. Quando utilizzi Controlli di servizio VPC, aggiungi progetti ai perimetri di servizio che proteggono risorse e servizi che provengono dall'esterno del perimetro. Per scoprire di più su Controlli di servizio VPC e perimetri di servizio, consulta Dettagli e configurazione del perimetro di servizio.
Passaggi successivi
Scopri come creare una configurazione per il report sull'inventario e iniziare a generare report sull'inventario.