La fonctionnalité de rapport d'inventaire Storage Insights vous aide à gérer le stockage d'objets à grande échelle. Il s'agit d'une alternative planifiée et plus rapide à l'opération d'API Objects: list.
Les rapports d'inventaire contiennent des informations de métadonnées sur vos objets, telles que la classe de stockage, l'ETag et le type de contenu. Ces informations vous aident à analyser vos coûts de stockage, à vérifier et valider vos objets, ainsi qu'à assurer la sécurité et la conformité des données. Vous pouvez exporter des rapports d'inventaire sous forme de fichiers CSV (valeurs séparées par une virgule) ou Apache Parquet pour les analyser plus en détail à l'aide d'outils tels que BigQuery.
Cette page présente la fonctionnalité de rapport d'inventaire Storage Insights. Pour obtenir des instructions sur l'utilisation de la fonctionnalité, consultez la page Créer et gérer des rapports d'inventaire.
Présentation des rapports d'inventaire
Les rapports d'inventaire contiennent une liste d'objets et de métadonnées associées pour un bucket donné, également appelé bucket source. Pour générer des rapports d'inventaire, vous devez d'abord créer une configuration de rapport d'inventaire qui définit la fréquence de génération des rapports, les champs de métadonnées que vous souhaitez inclure dans les rapports, et un bucket permettant de générer et stocker les rapports, également appelé bucket de destination.
Lorsque vous créez une configuration de rapport d'inventaire, un identifiant unique universel (UUID) lui est automatiquement attribué. Ce champ n'est pas modifiable. Toutefois, vous pouvez modifier les champs suivants d'une configuration de rapport d'inventaire :
- Nom à afficher de la configuration de rapport d'inventaire
- Champs de métadonnées d'objets inclus dans les rapports d'inventaire
- Bucket de destination dans lequel les rapports d'inventaire sont stockés
- Planification qui détermine la fréquence à laquelle les rapports d'inventaire sont générés
- Format de fichier dans lequel les rapports d'inventaire sont générés (CSV ou Apache Parquet)
Lorsque vous supprimez une configuration de rapport d'inventaire, les nouveaux rapports d'inventaire ne sont plus générés pour la configuration, mais les rapports d'inventaire existants demeurent.
Buckets source et de destination
Le bucket source contient les objets pour lesquels vous souhaitez générer des rapports d'inventaire. Il contient également la configuration de rapport d'inventaire. Un bucket source peut contenir jusqu'à 100 configurations de rapport d'inventaire.
Le bucket de destination contient les rapports d'inventaire générés. Le bucket de destination doit répondre aux exigences suivantes :
- Il doit se trouver dans le même emplacement que le bucket source.
- Il doit se trouver dans le même projet que le bucket source.
- Il peut être identique au bucket source.
Lorsque vous créez une configuration de rapport d'inventaire pour la première fois, un agent de service est automatiquement créé en votre nom. Pour créer des configurations de rapport d'inventaire et écrire des rapports d'inventaire dans le bucket de destination, vous et votre agent de service devez disposer des autorisations IAM requises. Consultez les autorisations requises pour vous-même et pour votre agent de service.
Storage Insights utilise les noms des buckets sources et de destination pour déterminer les buckets à utiliser lors de l'exécution de tâches. Si vous supprimez un bucket source ou de destination, puis créez un bucket portant le même nom, Storage Insights exécute les jobs en utilisant le nouveau bucket.
Champs de métadonnées d'objet
Les champs de métadonnées suivants peuvent être inclus dans un rapport d'inventaire. Les champs de métadonnées marqués comme "obligatoires" doivent être inclus dans le rapport d'inventaire.
| Champ de métadonnées | Description | Remarques |
|---|---|---|
| projet | ID du projet où réside le bucket source. | Requis |
| bucket | Nom du bucket source. | Requis |
| name | Nom de l'objet. | Requis |
| location | Emplacement du bucket source. | Facultatif |
| size | Taille de l'objet. | Facultatif |
| timeCreated | Heure de création de l'objet au format RFC 3339. | Facultatif |
| timeDeleted | Heure de suppression de l'objet au format RFC 3339. Renvoyé si et seulement si cette version de l'objet n'est plus une version active, mais reste dans le bucket en tant que version archivée. | Facultatif |
| mise(s) à jour | Heure de modification des métadonnées de l'objet au format RFC 3339. | Facultatif |
| storageClass | Classe de stockage de l'objet. | Facultatif |
| etag | Tag d'entité HTTP 1.1 pour l'objet. | Facultatif |
| retentionExpirationTime | Heure la plus ancienne de suppression de l'objet, qui dépend de la configuration de conservation définie pour l'objet et de toute règle de conservation définie pour le bucket le contenant. La valeur de retentionExpriationTime est indiquée au format RFC 3339. |
Facultatif |
| crc32c | Somme de contrôle CRC32C, comme décrit dans la RFC 4960 Annexe B, encodée en base64 dans l'ordre d'octet big-endian. Pour en savoir plus sur l'utilisation de la somme de contrôle CRC32C, consultez la section Hachages et ETags. | Facultatif |
| md5Hash | Hachage MD5 des données, encodé en base64. Ce champ n'est pas présent pour les objets composites. Pour en savoir plus sur l'utilisation du hachage MD5, consultez la section Hachages et ETags. | Facultatif |
| generation | Contenu de la génération de cet objet. Utilisé pour la gestion des versions d'objets. | Facultatif |
| metageneration | Version des métadonnées de cet objet à cette génération. Utilisé pour les conditions préalables et pour la détection des modifications des métadonnées. Un numéro de métagénération n'a de sens que dans le contexte d'une génération particulière d'un objet particulier. | Facultatif |
| contentType | Content-Type des données d'objet. Si un objet est stocké sans Content-Type, il est diffusé en tant qu'application/octet-stream. | Facultatif |
| contentEncoding | Content-Encoding des données d'objet. | Facultatif |
| timeStorageClassUpdated | Date et heure de la dernière modification de la classe de stockage de l'objet. Une fois l'objet créé, il est défini sur timeCreated. | Facultatif |
Pour en savoir plus sur les champs de métadonnées d'objets, consultez la page Métadonnées d'bjets.
Segments de rapport d'inventaire
Lorsqu'un rapport d'inventaire contient plus de 1 000 000 d'objets, Storage Insights génère un ou plusieurs objets segment pour composer le rapport d'inventaire. Lorsque tous les segments d'un rapport d'inventaire ont été générés, un fichier manifeste est généré dans le même bucket de destination que les segments.
Fichier manifeste du rapport d'inventaire
La présence d'un fichier manifeste indique que tous les segments qui composent un rapport d'inventaire ont été générés. Le fichier manifeste fournit également les noms des objets segment du rapport d'inventaire.
Le fichier manifeste suit la convention d'attribution de noms REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json, dans laquelle :
REPORT_CONFIG_UUIDest l'UUID généré automatiquement de la configuration de rapport d'inventaire.TARGET_DATETIMEest la date et l'heure UTC générées automatiquement, correspondant à l'horodatage de génération du rapport d'inventaire.
Voici un exemple de nom de fichier manifeste : fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json.
Le fichier manifest.json contient les champs renseignés automatiquement ci-après :
{
"report_config": REPORT_CONFIG_FIELDS,
"records_processed": NUMBER_OF_INCLUDED_OBJECTS,
"snapshot_time": "SNAPSHOT_TIME,
"target_datetime": "TARGET_DATETIME,
"shard_count": SHARD_COUNT,
"report_shards_file_names": [
SHARD_FILE_NAME
...]
}
Où :
REPORT_CONFIG_FIELDSinclut des champs contenus dans la ressource ReportConfig.NUMBER_OF_INCLUDED_OBJECTSest le nombre d'objets inclus dans le rapport d'inventaire.SNAPSHOT_TIMEest la date et l'heure UTC générées automatiquement, correspondant à la réalisation de l'instantané de données. Toutes les données d'un rapport d'inventaire sont capturées au niveau de l'instantané.TARGET_DATETIMEest la date et l'heure UTC générées automatiquement, correspondant à l'horodatage de génération du rapport d'inventaire.SHARD_COUNTest le nombre total de segments générés qui composent le rapport d'inventaire.SHARD_FILE_NAMEest le nom d'un segment composant un rapport d'inventaire.
Voici un exemple de fichier manifest.json :
{
"report_config":
{
"name": "projects/123456789098/locations/us/reportConfigs/fcec5187-afa6-48b0-938a-543d16493dc0",
"createTime": "2023-06-08T08:07:53.397366139Z",
"updateTime": "2023-06-08T08:07:53.552347723Z",
"frequencyOptions": {
"frequency": "DAILY",
"startDate": {
"year": 2023,
"month": 6,
"day": 9
}
"endDate": {
"year": 2023,
"month": 6,
"day": 23
}
},
"csvOptions": {
"recordSeparator": "\n",
"delimiter": ","
},
"objectMetadataReportOptions": {
"metadataFields": [
"project",
"bucket",
"name",
"location",
"updated",
"storageClass",
],
"storageFilters": {
"bucket": "my-test-bucket"
},
"storageDestinationOptions": {
"bucket": "example-bucket",
"destinationPath": "folder/subfolder"
}
}
},
"records_processed": 3993900,
"snapshot_time" : "2023-06-06T00:07:27Z",
"target_datetime": {
"year": 2023,
"month": 6,
"day": 6
},
"shard_count": 4,
"report_shards_file_names": [
"fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv",
"fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_1.csv",
...
],
}
Tarifs et emplacements de bucket disponibles
Storage Insight est soumis à une tarification, où chaque million d'objets figurant dans un rapport d'inventaire est facturé aux tarifs ci-dessous, en fonction de l'emplacement de stockage. Pour en savoir plus sur les emplacements de stockage, consultez la page Emplacements des buckets.
Pays acceptés
| Emplacement | Région | Tarifs |
|---|---|---|
| Asie | ||
Taïwan (asia-east1) |
0,0025 $/un million d'objets | |
Hong Kong (asia-east2) |
0,0028 $/un million d'objets | |
Tokyo (asia-northeast1) |
0,0028 $/un million d'objets | |
Osaka (asia-northeast2) |
0,0028 $/un million d'objets | |
Séoul (asia-northeast3) |
0,0028 $/un million d'objets | |
Singapour (asia-southeast1) |
0,0025 $/un million d'objets | |
| Australie | ||
Sydney (australia-southeast1) |
0,0028 $/un million d'objets | |
Melbourne (australia-southeast2) |
0,0028 $/un million d'objets | |
| Europe | ||
Varsovie (europe-central2) |
0,0028 $/un million d'objets | |
Finlande (europe-north1) |
0,0025 $/un million d'objets | |
Madrid (europe-southwest1) |
0,0028 $/un million d'objets | |
Belgique (europe-west1) |
0,0025 $/un million d'objets | |
Londres (europe-west2) |
0,0028 $/un million d'objets | |
Francfort (europe-west3) |
0,0028 $/un million d'objets | |
Pays-Bas (europe-west4) |
0,0025 $/un million d'objets | |
Zurich (europe-west6) |
0,0031 $/un million d'objets | |
Milan (europe-west8) |
0,0028 $/un million d'objets | |
Paris (europe-west9) |
0,0028 $/un million d'objets | |
| Inde | ||
Mumbai (asia-south1) |
0,0028 $/un million d'objets | |
Delhi (asia-south2) |
0,0028 $/un million d'objets | |
| Indonésie | ||
Jakarta (asia-southeast2) |
0,0028 $/un million d'objets | |
| Moyen-Orient | ||
Tel Aviv (me-west1) |
0,0026 $/un million d'objets | |
| Amérique du Nord | ||
Montréal (northamerica-northeast1) |
0,0028 $/un million d'objets | |
Toronto (northamerica-northeast2) |
0,0028 $/un million d'objets | |
Iowa (us-central1) |
0,0025 $/un million d'objets | |
Caroline du Sud (us-east1) |
0,0025 $/un million d'objets | |
Virginie du Nord (us-east4) |
0,0028 $/un million d'objets | |
Columbus (us-east5) |
0,0025 $/un million d'objets | |
Oregon (us-west1) |
0,0025 $/un million d'objets | |
Los Angeles (us-west2) |
0,0028 $/un million d'objets | |
Salt Lake City (us-west3) |
0,0028 $/un million d'objets | |
Las Vegas (us-west4) |
0,0028 $/un million d'objets | |
Dallas (us-south1) |
0,0025 $/un million d'objets | |
| Amérique du Sud | ||
São Paulo (southamerica-east1) |
0,0043 $/un million d'objets | |
Santiago (southamerica-west1) |
0,0037 $/un million d'objets | |
| Emplacements multirégionaux | ||
Asie (asia) |
0,0028 $/un million d'objets | |
Europe (eu) |
0,0028 $/un million d'objets | |
États-Unis (us) |
0,0028 $/un million d'objets | |
| Emplacements birégionaux | ||
Tokyo/Osaka (asia1) |
0,0028 $/un million d'objets | |
Finlande/Pays-Bas (eur4) |
0,0028 $/un million d'objets | |
Iowa/Caroline du Sud (nam4) |
0,0028 $/un million d'objets | |
Journaux d'audit
Cloud Storage crée des journaux d'audit lorsque des rapports d'inventaire sont générés dans le bucket de destination. Storage Insights génère des journaux d'audit chaque fois que des configurations de rapport d'inventaire sont créées, mises à jour ou supprimées.
Cloud Storage ne crée pas de journaux d'audit lorsqu'une configuration de rapport d'inventaire lit les métadonnées d'objet depuis un bucket source.
Intégration à VPC Service Controls
Vous pouvez fournir un niveau de sécurité supplémentaire pour les ressources Storage Insights à l'aide de VPC Service Controls. Lorsque vous utilisez VPC Service Controls, vous ajoutez des projets aux périmètres de service afin de protéger les ressources et les services des requêtes provenant de l'extérieur du périmètre. Pour en savoir plus sur VPC Service Controls et les périmètres de service, consultez la page Périmètres de service : détails et configuration.
Étapes suivantes
Apprenez à créer une configuration de rapport d'inventaire et générez des rapports d'inventaire.