Laporan inventaris Insight Penyimpanan

Fitur laporan inventaris Insight Penyimpanan membantu Anda mengelola penyimpanan objek dalam skala besar. Ini merupakan alternatif yang lebih cepat dan terjadwal untuk operasi Objects: list API.

Laporan inventaris berisi informasi metadata tentang objek Anda, seperti kelas penyimpanan objek, ETag, dan jenis konten. Informasi ini membantu Anda menganalisis biaya penyimpanan, mengaudit dan memvalidasi objek, serta memastikan kepatuhan dan keamanan data. Anda dapat mengekspor laporan inventaris sebagai file nilai yang dipisahkan koma (CSV) atau Apache Parquet, sehingga Anda dapat menganalisisnya lebih lanjut menggunakan alat seperti BigQuery.

Halaman ini menyediakan ringkasan fitur laporan inventaris Insight Penyimpanan. Untuk mengetahui petunjuk cara menggunakan fitur ini, lihat Membuat dan mengelola laporan inventaris.

Ringkasan laporan inventaris

Laporan inventaris berisi daftar objek dan metadata yang terkait untuk bucket tertentu, yang juga dikenal sebagai bucket sumber. Untuk menghasilkan laporan inventaris, Anda harus terlebih dahulu membuat konfigurasi laporan inventaris yang menentukan seberapa sering laporan dibuat, kolom metadata yang ingin disertakan dalam laporan, dan bucket untuk membuat dan menyimpan laporan, yang juga dikenal sebagai bucket tujuan.

Saat Anda membuat konfigurasi laporan inventaris, konfigurasi tersebut akan otomatis diberi ID unik universal (UUID). Kolom ini tidak dapat diedit. Namun, Anda dapat mengedit kolom konfigurasi laporan inventaris berikut:

  • Nama tampilan konfigurasi laporan inventaris
  • Kolom metadata objek yang disertakan dalam laporan inventaris
  • Bucket tujuan yang menyimpan laporan inventaris
  • Jadwal yang menentukan frekuensi pembuatan laporan inventaris
  • Format file yang digunakan untuk membuat laporan inventaris (CSV atau Apache Parquet)

Saat Anda menghapus konfigurasi laporan inventaris, laporan inventaris baru tidak akan lagi dibuat untuk konfigurasi, tetapi laporan inventaris yang sudah ada akan tetap ada.

Bucket sumber dan tujuan

Bucket sumber berisi objek yang ingin Anda buatkan laporan inventarisnya. File ini juga berisi konfigurasi laporan inventaris. Anda dapat memiliki hingga 100 konfigurasi laporan inventaris dalam bucket sumber.

Bucket tujuan menyimpan laporan inventaris yang dihasilkan. Bucket tujuan harus memenuhi persyaratan berikut:

  • File ini harus berada di lokasi yang sama dengan bucket sumber.
  • File ini harus berada dalam project yang sama dengan bucket sumber.
  • Bucket ini bisa sama dengan bucket sumber.

Saat pertama kali membuat konfigurasi laporan inventaris, agen layanan otomatis dibuat untuk Anda. Untuk membuat konfigurasi laporan inventaris dan menulis laporan inventaris ke bucket tujuan, Anda dan agen layanan harus memiliki izin IAM yang diperlukan. Lihat izin yang diperlukan untuk Anda sendiri dan agen layanan Anda.

Insight Penyimpanan menggunakan nama bucket sumber dan tujuan untuk menentukan bucket mana yang akan digunakan saat menjalankan tugas. Jika Anda menghapus bucket sumber atau tujuan, lalu membuat bucket baru dengan nama yang sama, Storage Insights akan menjalankan tugas menggunakan bucket baru.

Kolom metadata objek

Kolom metadata berikut dapat disertakan dalam laporan inventaris. Kolom metadata yang ditandai sebagai "Wajib" harus disertakan dalam laporan inventaris.

Kolom metadata Deskripsi Notes
project ID project tempat bucket sumber berada. Diperlukan
ember Nama bucket sumber. Diperlukan
name Nama objek. Diperlukan
location Lokasi bucket sumber. Opsional
size Ukuran objek. Opsional
timeCreated Waktu pembuatan objek dalam format RFC 3339. Opsional
timeDeleted Waktu penghapusan objek dalam format RFC 3339. Ditampilkan jika dan hanya jika versi objek ini tidak lagi merupakan versi aktif, tetapi tetap berada di bucket sebagai versi lama. Opsional
diperbarui Waktu modifikasi metadata objek dalam format RFC 3339. Opsional
storageClass Kelas penyimpanan objek. Opsional
etag HTTP 1.1 Tag entitas untuk objek. Opsional
retentionExpirationTime Waktu paling awal objek dapat dihapus, yang bergantung pada konfigurasi retensi yang ditetapkan untuk objek dan kebijakan retensi yang ditetapkan untuk bucket yang berisi objek tersebut. Nilai untuk retentionExpriationTime diberikan dalam format RFC 3339. Opsional
crc32c Checksum CRC32C, seperti yang dijelaskan dalam RFC 4960 Lampiran B, dienkode menggunakan base64 dalam urutan byte big-endian. Untuk informasi selengkapnya tentang penggunaan checksum CRC32C, lihat Hash dan eTag. Opsional
md5Hash Hash MD5 data, yang dienkode menggunakan base64. Kolom ini tidak ada untuk objek gabungan. Untuk mengetahui informasi lebih lanjut tentang penggunaan hash MD5, lihat Hash dan eTag. Opsional
pembuatan Pembuatan konten objek ini. Digunakan untuk pembuatan versi objek. Opsional
metageneration Versi metadata untuk objek ini pada pembuatan ini. Digunakan untuk prasyarat dan mendeteksi perubahan dalam metadata. Angka metageneration hanya bermakna dalam konteks pembuatan tertentu yang juga berasal dari objek tertentu. Opsional
contentType Content-Type data objek. Jika objek disimpan tanpa Content-Type, objek tersebut akan berfungsi sebagai application/octet-stream. Opsional
contentEncoding Content-Encoding data objek. Opsional
timeStorageClassUpdated Waktu saat kelas penyimpanan objek terakhir diubah. Saat pertama kali dibuat, objek akan dtetapkan ke timeCreated. Opsional

Untuk mengetahui informasi selengkapnya tentang kolom metadata objek, lihat Metadata objek.

Shard laporan inventaris

Jika laporan inventaris berisi lebih dari 1.000.000 objek, Insight Penyimpanan akan menghasilkan satu atau beberapa objek shard untuk menyusun laporan inventaris. Jika semua shard laporan inventaris berhasil dibuat, file manifes akan dibuat dalam bucket tujuan yang sama dengan shard.

File manifes laporan inventaris

Keberadaan file manifes menunjukkan bahwa semua shard yang menyusun laporan inventaris telah dibuat. File manifes juga menyediakan nama objek shard laporan inventaris.

File manifes mengikuti konvensi penamaan REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json, dengan:

  • REPORT_CONFIG_UUID adalah UUID yang dibuat otomatis dari konfigurasi laporan inventaris.

  • TARGET_DATETIME adalah tanggal dan waktu UTC yang dibuat secara otomatis saat laporan inventaris dibuat.

Contoh nama file manifes adalah fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json.

File manifest.json berisi kolom yang terisi otomatis berikut:

{
  "report_config": REPORT_CONFIG_FIELDS,
  "records_processed": NUMBER_OF_INCLUDED_OBJECTS,
  "snapshot_time": "SNAPSHOT_TIME,
  "target_datetime": "TARGET_DATETIME,
  "shard_count": SHARD_COUNT,
  "report_shards_file_names": [
    SHARD_FILE_NAME
    ...]
}

Dengan keterangan:

  • REPORT_CONFIG_FIELDS mencakup kolom yang terdapat dalam resource ReportConfig.

  • NUMBER_OF_INCLUDED_OBJECTS adalah jumlah objek yang disertakan dalam laporan inventaris.

  • SNAPSHOT_TIME adalah tanggal dan waktu UTC yang dibuat secara otomatis saat snapshot data terjadi. Semua data dalam laporan inventaris diambil saat snapshot.

  • TARGET_DATETIME adalah tanggal dan waktu UTC yang dibuat secara otomatis saat laporan inventaris dibuat.

  • SHARD_COUNT adalah jumlah total shard yang dihasilkan yang menyusun laporan inventaris.

  • SHARD_FILE_NAME adalah nama shard yang menyusun laporan inventaris.

Contoh file manifest.json terlihat seperti berikut:

{
  "report_config":
     {
       "name": "projects/123456789098/locations/us/reportConfigs/fcec5187-afa6-48b0-938a-543d16493dc0",
       "createTime": "2023-06-08T08:07:53.397366139Z",
       "updateTime": "2023-06-08T08:07:53.552347723Z",
       "frequencyOptions": {
         "frequency": "DAILY",
         "startDate": {
           "year": 2023,
           "month": 6,
           "day": 9
         }
         "endDate": {
           "year": 2023,
           "month": 6,
           "day": 23
         }
       },
       "csvOptions": {
         "recordSeparator": "\n",
         "delimiter": ","
       },
       "objectMetadataReportOptions": {
         "metadataFields": [
           "project",
           "bucket",
           "name",
           "location",
           "updated",
           "storageClass",
         ],
         "storageFilters": {
           "bucket": "my-test-bucket"
         },
         "storageDestinationOptions": {
           "bucket": "example-bucket",
           "destinationPath": "folder/subfolder"
         }
       }
     },
  "records_processed": 3993900,
  "snapshot_time" : "2023-06-06T00:07:27Z",
  "target_datetime": {
    "year": 2023,
    "month": 6,
    "day": 6
  },
  "shard_count": 4,
  "report_shards_file_names": [
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv",
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_1.csv",
    ...
  ],
}

Harga dan lokasi bucket yang didukung

Insight Penyimpanan tunduk pada harga, dengan setiap satu juta objek yang terdapat dalam laporan inventaris dikenakan biaya dengan harga di bawah, yang bergantung pada lokasi penyimpanan. Untuk mengetahui informasi selengkapnya tentang lokasi penyimpanan, lihat Lokasi bucket.

Lokasi yang didukung

Location Region Harga
Asia
Taiwan (asia-east1) $0,0025/satu juta objek
Hong Kong (asia-east2) $0,0028/satu juta objek
Tokyo (asia-northeast1) $0,0028/satu juta objek
Osaka (asia-northeast2) $0,0028/satu juta objek
Seoul (asia-northeast3) $0,0028/satu juta objek
Singapura (asia-southeast1) $0,0025/satu juta objek
Australia
Sydney (australia-southeast1) $0,0028/satu juta objek
Melbourne (australia-southeast2) $0,0028/satu juta objek
Eropa
Warsawa (europe-central2) $0,0028/satu juta objek
Finlandia (europe-north1) $0,0025/satu juta objek
Madrid (europe-southwest1) $0,0028/satu juta objek
Belgia (europe-west1) $0,0025/satu juta objek
London (europe-west2) $0,0028/satu juta objek
Frankfurt (europe-west3) $0,0028/satu juta objek
Belanda (europe-west4) $0,0025/satu juta objek
Zurich (europe-west6) $0,0031/satu juta objek
Milan (europe-west8) $0,0028/satu juta objek
Paris (europe-west9) $0,0028/satu juta objek
India
Mumbai (asia-south1) $0,0028/satu juta objek
Delhi (asia-south2) $0,0028/satu juta objek
Indonesia
Jakarta (asia-southeast2) $0,0028/satu juta objek
Timur Tengah
Tel Aviv (me-west1) $0,0026/satu juta objek
Amerika Utara
Montreal (northamerica-northeast1) $0,0028/satu juta objek
Toronto (northamerica-northeast2) $0,0028/satu juta objek
Iowa (us-central1) $0,0025/satu juta objek
South Carolina (us-east1) $0,0025/satu juta objek
Northern Virginia (us-east4) $0,0028/satu juta objek
Columbus (us-east5) $0,0025/satu juta objek
Oregon (us-west1) $0,0025/satu juta objek
Los Angeles (us-west2) $0,0028/satu juta objek
Salt Lake City (us-west3) $0,0028/satu juta objek
Las Vegas (us-west4) $0,0028/satu juta objek
Dallas (us-south1) $0,0025/satu juta objek
Amerika Selatan
Sao Paulo (southamerica-east1) $0,0043/satu juta objek
Santiago (southamerica-west1) $0,0037/satu juta objek
Multi-region
Asia (asia) $0,0028/satu juta objek
Eropa (eu) $0,0028/satu juta objek
Amerika Serikat (us) $0,0028/satu juta objek
Dual-region
Tokyo/Osaka (asia1) $0,0028/satu juta objek
Finlandia/Belanda (eur4) $0,0028/satu juta objek
Iowa/Carolina Selatan (nam4) $0,0028/satu juta objek

Logging audit

Cloud Storage membuat log audit saat laporan inventaris dibuat di bucket tujuan. Insight Penyimpanan menghasilkan log audit setiap kali konfigurasi laporan inventaris dibuat, diperbarui, atau dihapus.

Cloud Storage tidak membuat log audit saat konfigurasi laporan inventaris membaca metadata objek dari bucket sumber.

Integrasi dengan Kontrol Layanan VPC

Anda dapat memberikan lapisan keamanan tambahan untuk resource Insight Penyimpanan menggunakan Kontrol Layanan VPC. Saat menggunakan Kontrol Layanan VPC, Anda menambahkan project ke perimeter layanan yang melindungi resource dan layanan dari permintaan yang berasal dari luar perimeter. Untuk mempelajari Kontrol Layanan VPC dan perimeter layanan lebih lanjut, lihat Detail dan konfigurasi perimeter layanan.

Langkah selanjutnya

Pelajari cara membuat konfigurasi laporan inventaris dan mulai membuat laporan inventaris.