Halaman ini menjelaskan cara membuat dan mengelola konfigurasi laporan inventaris serta laporan inventaris yang dibuat, sehingga Anda bisa mendapatkan ringkasan tingkat tinggi dari semua metadata objek dalam bucket tertentu. Untuk membaca ringkasan laporan inventaris, lihat dokumentasi ringkasan laporan inventaris Insight Penyimpanan.
Sebelum memulai
Mendapatkan peran yang diperlukan
Guna mendapatkan izin yang diperlukan untuk membuat dan mengelola laporan inventaris, minta administrator untuk memberi Anda peran IAM berikut di project atau bucket sumber dan tujuan yang akan digunakan untuk mengelola laporan inventaris.
Untuk membuat dan mengelola konfigurasi laporan inventaris:
roles/storage.admin
pada bucket sumber dan bucket tujuanroles/storageinsights.admin
pada project
Untuk membaca dan mendownload laporan inventaris:
roles/storage.objectViewer
pada bucket tujuanroles/storageinsights.viewer
pada project
Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk membuat serta mengelola konfigurasi dan laporan inventaris. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:
Izin yang diperlukan
Untuk membuat dan mengelola konfigurasi laporan inventaris:
storage.buckets.get
pada bucket sumberstorage.objects.list
pada bucket sumberstorage.buckets.getObjectInsights
pada bucket sumberstorage.buckets.get
pada bucket tujuanstorage.objects.create
pada bucket tujuanstorageinsights.reportConfigs.delete
pada projectstorageinsights.reportConfigs.get
pada projectstorageinsights.reportConfigs.create
pada projectstorageinsights.reportConfigs.list
pada projectstorageinsights.reportConfigs.update
pada project
Untuk membaca dan mendownload laporan inventaris:
storage.objects.get
pada bucket tujuanstorageinsights.reportDetails.get
pada projectstorageinsights.reportDetails.list
pada project
Anda mungkin juga bisa mendapatkan izin ini dengan peran bawaan lainnya. Untuk mengetahui peran mana yang terkait dengan izin apa, lihat Peran IAM untuk Cloud Storage.
Guna mengetahui petunjuk penggunaan peran untuk mengontrol akses ke bucket, lihat Menggunakan IAM. Guna mengetahui petunjuk penggunaan peran untuk mengontrol akses ke project, lihat Mengelola akses.
Mengaktifkan Storage Insights API
Konsol
Untuk mengaktifkan storageinsights.googleapis.com
API, ikuti petunjuk dalam artikel Mengaktifkan layanan.
Command line
gcloud
Untuk mengaktifkan Storage Insights API dalam project saat ini, jalankan perintah berikut:
gcloud services enable storageinsights.googleapis.com
Guna mengetahui detail selengkapnya tentang cara mengaktifkan layanan untuk project Google Cloud, baca artikel Mengaktifkan dan menonaktifkan layanan.
REST API
JSON API
Gunakan Konsol Google Cloud atau Google Cloud CLI untuk mengaktifkan Storage Insights API.
Membuat konfigurasi laporan inventaris
Konsol
Untuk membuat konfigurasi laporan inventaris, selesaikan langkah-langkah berikut:
- Di Konsol Google Cloud, buka halaman Bucket Cloud Storage.
Dalam daftar bucket, klik nama bucket yang ingin Anda gunakan sebagai bucket sumber.
Di halaman Detail bucket, klik tab Laporan inventaris.
Klik Buat konfigurasi laporan.
Di bagian Identifikasi konfigurasi laporan, buat nama tampilan untuk konfigurasi laporan inventaris. Nama tampilan dapat berisi hingga 256 karakter.
Di bagian Pilih kolom metadata, pilih kolom metadata yang ingin Anda sertakan dalam laporan inventaris.
Klik Lanjutkan.
Di bagian Pilih format file, pilih format file yang ingin Anda gunakan untuk membuat laporan inventaris.
Di bagian Pilih bucket tujuan, pilih bucket yang ingin Anda gunakan sebagai bucket tujuan.
Di bagian Masukkan jalur tujuan (opsional), Anda dapat secara opsional menentukan jalur tujuan tempat laporan inventaris akan dibuat.
Di bagian Opsi penjadwalan, tentukan frekuensi, tanggal mulai, dan tanggal akhir untuk membuat laporan.
Klik Buat.
Halaman Detail konfigurasi laporan akan ditampilkan. Metadata laporan inventaris yang dibuat akan muncul di halaman.
Command line
gcloud
Untuk membuat konfigurasi laporan inventaris, jalankan perintah
gcloud storage insights inventory-reports create
:gcloud storage insights inventory-reports create SOURCE_BUCKET_URL \ --csv-separator=SEPARATOR \ --csv-delimiter=DELIMITER \ --[no]-csv-header \ --parquet \ --display-name=DISPLAY_NAME \ --destination=DESTINATION_PATH \ --metadata-fields=METADATA_FIELD \ --schedule-starts=START_DATE \ --schedule-repeats=FREQUENCY \ --schedule-repeats-until=END_DATE
Ganti:
SOURCE_BUCKET_URL
dengan URL bucket sumber. Contoh,gs://my_example_source_bucket
.SEPARATOR
dengan karakter yang digunakan untuk memisahkan data dalam file CSV laporan inventaris. Nilainya harus\n
atau\r\n
. Nilai defaultnya adalah\n
. Opsional. Jika flag--csv-separator
digunakan,--parquet
tidak dapat digunakan.DELIMITER
dengan pemisah yang memisahkan kolom dalam file CSV laporan inventaris. Nilai ini dapat menyertakan satu karakter dan tidak boleh sama dengan nilaiSEPARATOR
. Nilai defaultnya adalah,
. Opsional. Jika--csv-delimiter
digunakan,--parquet
tidak dapat digunakan.--[no]-csv-header
dengan flag yang menunjukkan apakah header disertakan dalam file CSV laporan inventaris atau tidak. Gunakan--csv-header
untuk menyertakan header dan--no-csv-header
untuk mengecualikan header. Jika salah satu flag digunakan,--parquet
tidak dapat digunakan.DISPLAY_NAME
dengan nama konfigurasi laporan inventaris yang dapat diedit. Opsional.--parquet
dengan flag yang membuat laporan inventaris dalam format Apache Parquet, bukan CSV. Jika digunakan,--csv-delimiter
,--csv-separator
, dan--[no-]csv-header
tidak dapat digunakan.DESTINATION_PATH
dengan bucket atau folder pada bucket tempat laporan inventaris akan dibuat. Misalnya,gs://my_example_destination_bucket
ataugs://my_example_destination_bucket/path/to/inventory/report
.Saat menentukan jalur ke folder dalam bucket, Anda dapat menggunakan kata kunci di jalur tersebut, yang akan diganti dengan nilainya yang sesuai saat laporan dibuat. Hal ini memungkinkan Anda membuat laporan dalam format terpartisi Hive, sehingga Anda dapat memuat atau membuat kueri data di BigQuery tanpa pemrosesan tambahan.
METADATA_FIELD
dengan daftar kolom metadata yang dipisahkan koma, yang ingin Anda sertakan dalam laporan inventaris.START_DATE
dengan tanggal UTC pada saat Anda ingin laporan inventaris untuk dibuat. Contoh,2022-01-15
.FREQUENCY
dengan seberapa sering Anda ingin laporan inventaris dibuat. Nilai berupadaily
atauweekly
.END_DATE
dengan tanggal UTC yang setelahnya Anda ingin agar laporan inventaris berhenti dibuat. Harus berupa nilai setelahSTART_DATE
. Misalnya, jika Anda menentukan2022-02-15
, laporan inventaris tidak akan dibuat lagi mulai 16 Februari 2022.
REST API
JSON API
Untuk membuat konfigurasi laporan inventaris, selesaikan langkah-langkah berikut:
Buat token akses dengan menjalankan perintah
gcloud auth print-access-token
:gcloud auth print-access-token
Untuk detail selengkapnya tentang perintah ini, lihat dokumentasi referensi
gcloud auth print-access-token
.Buat file JSON berisi informasi berikut, yang semua kolomnya wajib diisi kecuali jika dinyatakan lain:
{ "display_name": "DISPLAY_NAME", "frequency_options": { "frequency": "FREQUENCY", "start_date": "START_DATE", "end_date": "END_DATE", }, "csv_options": { "record_separator": "RECORD_SEPARATOR", "delimiter": "DELIMITER", "header_required": HEADER_REQUIRED }, "object_metadata_report_options": { "metadata_fields": [ "METADATA_FIELD", ... ], "storage_filters": { "bucket": "SOURCE_BUCKET_NAME" }, "storage_destination_options": { "bucket": "DESTINATION_BUCKET_NAME", "destination_path": "DESTINATION_PATH" } } }
Ganti:
DISPLAY_NAME
dengan nama tampilan konfigurasi laporan inventaris yang dapat diedit. Dapat berisi hingga 256 karakter.FREQUENCY
dengan frekuensi untuk membuat laporan inventaris. Nilai berupaDAILY
atauWEEKLY
.START_DATE
dengan tanggal UTC pada saat Anda ingin laporan inventaris untuk dibuat. Tidak boleh berupa tanggal saat ini atau tanggal yang sudah lewat. Nilai harus berupa objek yang berisi kunci untukday
,month
, danyear
. Misalnya:{"day": 15, "month": 8, "year": 2022}
.END_DATE
dengan tanggal UTC yang setelahnya Anda ingin agar laporan inventaris berhenti dibuat. Nilai harus berupa objek yang berisi kunci untukday
,month
, danyear
. Misalnya, jika Anda menentukan{"day": 15, "month": 9, "year": 2022}
, laporan inventaris tidak akan dibuat lagi mulai 16 September 2022.RECORD_SEPARATOR
dengan karakter yang digunakan untuk memisahkan data dalam file CSV laporan inventaris. Nilainya harus\n
atau\r\n
. Nilai defaultnya adalah\n
. Kolom ini bersifat opsional.DELIMITER
dengan pemisah yang memisahkan kolom dalam file CSV laporan inventaris. Nilainya dapat berisi satu karakter dan tidak boleh sama denganRECORD_SEPARATOR
. Nilai defaultnya adalah,
. Kolom ini bersifat opsional.HEADER_REQUIRED
dengan Boolean yang menunjukkan apakah header disertakan dalam file CSV atau tidak. Kolom ini bersifat opsional.SOURCE_BUCKET_NAME
dengan nama bucket sumber yang berisi objek yang ingin Anda buat laporan inventarisnya. Misalnya,my_example_bucket
.METADATA_FIELD
dengan daftar kolom metadata yang dipisahkan koma yang ingin Anda sertakan dalam laporan inventaris.DESTINATION_BUCKET_NAME
dengan nama bucket tujuan tempat laporan inventaris yang dihasilkan akan dibuat dan disimpan. Misalnya,my_example_destination_bucket
.DESTINATION_PATH
dengan jalur di bucket tujuan tempat laporan inventaris yang dihasilkan akan dibuat. Kolom ini bersifat opsional.Saat menentukan jalur ke folder dalam bucket, Anda dapat menggunakan kata kunci di jalur tersebut, yang akan diganti dengan nilainya yang sesuai saat laporan dibuat. Hal ini memungkinkan Anda membuat laporan dalam format terpartisi Hive, sehingga Anda dapat memuat atau membuat kueri data di BigQuery tanpa pemrosesan tambahan.
Misalnya, contoh kode berikut membuat konfigurasi laporan inventaris bernama "Contoh konfigurasi laporan inventaris" yang menghasilkan laporan dengan frekuensi mingguan:
{ "display_name": "Example inventory report configuration", "frequency_options": { "frequency": "WEEKLY", "start_date": { "day": 15, "month": 8, "year": 2022 }, "end_date": { "day": 15, "month": 9, "year": 2022 }, }, "csv_options": { "record_separator": "\n", "delimiter": ",", "header_required": true }, "object_metadata_report_options": { "metadata_fields": [ "project", "name", "bucket" ], "storage_filters": { "bucket": "example_source_bucket" }, "storage_destination_options": { "bucket": "example_destination_bucket" } } }
Guna menerapkan konfigurasi laporan inventaris, gunakan
cURL
untuk memanggil JSON API dengan permintaanInsert
ReportConfig:curl -X POST --data-binary @JSON_FILE_NAME \ "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs" \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \
Ganti:
YOUR_PROJECT
dengan nama project tempat bucket sumber dan tujuan Anda berada.LOCATION
dengan lokasi bucket sumber dan tujuan. Misalnya,us-west1
.ACCESS_TOKEN
dengan token akses yang Anda buat di langkah 1.
Memberikan izin yang diperlukan ke agen layanan
Agen layanan
level project
secara otomatis dibuat saat Anda pertama kali menyiapkan konfigurasi
laporan inventaris. Agen layanan mengikuti format penamaan service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com
dan muncul di halaman IAM Konsol Google Cloud saat Anda mencentang kotak Sertakan pemberian peran yang disediakan Google.
Guna mengaktifkan Insight Penyimpanan guna membuat dan menulis laporan inventaris, minta administrator Anda untuk memberikan peran IAM berikut kepada agen layanan:
roles/storage.insightsCollectorService
pada bucket sumber, yang menyertakan izinstorage.buckets.getObjectInsights
danstorage.buckets.get
roles/storage.objectCreator
pada bucket tujuan, yang menyertakan izinstorage.objects.create
Untuk mengetahui petunjuk tentang cara memberikan peran, lihat Menggunakan IAM.
Anda dapat memberikan peran roles/storage.insightsCollectorService
menggunakan Konsol Google Cloud atau Google Cloud CLI. Contoh:
gcloud storage buckets add-iam-policy-binding SOURCE_BUCKET_URL \ --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com \ --role=roles/storage.insightsCollectorService
Setelah agen layanan diberi izin yang diperlukan, perlu waktu hingga 24 jam untuk menulis laporan inventaris pertama ke bucket tujuan.
Mengedit konfigurasi laporan inventaris
Setelah konfigurasi laporan inventaris dibuat, Anda dapat mengubah properti tertentu konfigurasi.
Konsol
Untuk mengedit konfigurasi laporan inventaris, ikuti langkah-langkah di bawah ini:
- Di Konsol Google Cloud, buka halaman Bucket Cloud Storage.
Pada daftar bucket, klik nama bucket sumber yang berisi konfigurasi laporan inventaris yang ingin Anda edit.
Di halaman Detail bucket bucket sumber, klik tab Laporan inventaris.
Klik nama konfigurasi dari konfigurasi laporan inventaris yang ingin Anda edit.
Pada halaman Detail konfigurasi laporan yang muncul, edit properti yang Anda inginkan menggunakan tombol
Edit.
Command line
gcloud
Untuk mengedit konfigurasi laporan inventaris, ikuti langkah-langkah di bawah ini:
Untuk menemukan nama konfigurasi laporan inventaris yang ingin Anda edit, buat daftar semua konfigurasi inventaris dalam bucket sumber menggunakan perintah
gcloud storage insights inventory-reports list
:gcloud storage insights inventory-reports list \ --source=SOURCE_BUCKET \ --filter=EXPRESSION \ --page-size=SIZE \ --sort-by=FIELD \ --format="yaml(name)"
Ganti:
SOURCE_BUCKET
dengan URL bucket sumber yang berisi konfigurasi laporan inventaris.EXPRESSION
dengan filter Boolean yang akan diterapkan ke setiap item resource yang akan dicantumkan. Jika ekspresi bernilai True, item akan dicantumkan. Untuk mengetahui detail dan contoh ekspresi filter, jalankan$ gcloud topic filters
.SIZE
dengan jumlah maksimum resource per halaman. Nilai defaultnya adalah 50.FIELD
dengan daftar yang dipisahkan koma dari nama-nama kunci kolom resource yang digunakan untuk pengurutan. Urutan defaultnya adalah menaik. Awali kolom dengan~
untuk urutan menurun di kolom tersebut.
Edit kolom konfigurasi laporan inventaris yang ingin Anda perbarui menggunakan perintah
gcloud storage insights inventory-reports update
. Contoh berikut memperbarui konfigurasi laporan inventaris untuk membuat laporan inventaris setiap hari dalam format Apache Parquet:gcloud storage insights inventory-reports update CONFIG_NAME \ --parquet \ --schedule-repeats="daily"
REST API
JSON API
Untuk mengedit konfigurasi laporan inventaris, selesaikan langkah-langkah berikut ini:
Buat token akses dengan menjalankan perintah
gcloud auth print-access-token
:gcloud auth print-access-token
Untuk detail selengkapnya tentang perintah ini, lihat dokumentasi referensi
gcloud auth print-access-token
.Dapatkan nama konfigurasi laporan inventaris yang ingin Anda edit menggunakan
cURL
untuk memanggil JSON API dengan permintaanGet
ReportConfig:curl --request GET \ "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs?" \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \
Ganti:
YOUR_PROJECT
dengan nama project tempat bucket sumber dan tujuan Anda berada.LOCATION
dengan lokasi bucket sumber dan tujuan. Misalnya,us-west1
.ACCESS_TOKEN
dengan token akses yang Anda buat di langkah 1.
Jika ingin mengambil semua konfigurasi laporan inventaris dalam bucket sumber tertentu, tambahkan parameter kueri
filter
ke permintaan Anda:curl --request GET \ "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs?filter=objectMetadataReportOptions.storageFilters.bucket=BUCKET_NAME" \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \
Ganti:
YOUR_PROJECT
dengan nama project tempat bucket sumber dan tujuan Anda berada.LOCATION
dengan lokasi bucket sumber dan tujuan. Misalnya,us-west1
.BUCKET_NAME
dengan nama bucket sumber yang berisi konfigurasi laporan inventaris yang ingin Anda edit.ACCESS_TOKEN
dengan token akses yang Anda buat di langkah 1.
Buat file JSON yang menyertakan perubahan pada properti yang ingin Anda edit. Contoh berikut memperbarui konfigurasi laporan inventaris untuk membuat laporan inventaris setiap hari dalam format Apache Parquet:
{ "ReportConfig": { "frequency_options": { "frequency": "DAILY" }, "parquet_options": { } }
Guna menerapkan konfigurasi laporan inventaris, gunakan
cURL
untuk memanggil JSON API dengan permintaanPatch
ReportConfig:curl --request PATCH \ "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID" \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \ --data-binary "@JSON_FILE_NAME.json" \
Ganti:
YOUR_PROJECT
dengan nama project tempat bucket sumber dan tujuan Anda berada.LOCATION
dengan lokasi bucket sumber dan tujuan. Misalnya,us-west1
.REPORT_CONFIG_UUID
dengan UUID konfigurasi laporan inventaris yang dibuat secara otomatis.ACCESS_TOKEN
dengan token akses yang Anda buat di langkah 1.
Membuat daftar konfigurasi laporan inventaris
Konsol
Untuk membuat daftar konfigurasi laporan inventaris pada bucket sumber, selesaikan langkah-langkah berikut:
- Di Konsol Google Cloud, buka halaman Bucket Cloud Storage.
Pada daftar bucket, klik nama bucket sumber yang berisi konfigurasi laporan inventaris yang ingin Anda lihat.
Di halaman Detail bucket, klik tab Laporan inventaris.
Konfigurasi laporan inventaris di bucket sumber akan muncul.
Command line
gcloud
Anda dapat membuat daftar semua konfigurasi inventaris dalam bucket sumber
menggunakan perintah
gcloud storage insights inventory-reports list
:
gcloud storage insights inventory-reports list \ --source=SOURCE_BUCKET \ --filter=EXPRESSION \ --page-size=SIZE \ --sort-by=FIELD \ --format="yaml(name)"
Ganti:
SOURCE_BUCKET
dengan URL bucket sumber yang berisi konfigurasi laporan inventaris.EXPRESSION
dengan filter Boolean yang akan diterapkan ke setiap item resource yang akan dicantumkan. Jika ekspresi bernilai True, item akan dicantumkan. Untuk mengetahui detail dan contoh ekspresi filter, jalankan$ gcloud topic filters
.SIZE
dengan jumlah maksimum resource per halaman. Nilai defaultnya adalah 50.FIELD
dengan daftar yang dipisahkan koma dari nama-nama kunci kolom resource yang digunakan untuk pengurutan. Urutan defaultnya adalah menaik. Awali kolom dengan~
untuk urutan menurun di kolom tersebut.
REST API
JSON API
Buat token akses dengan menjalankan perintah
gcloud auth print-access-token
:gcloud auth print-access-token
Untuk detail selengkapnya tentang perintah ini, lihat dokumentasi referensi
gcloud auth print-access-token
.Anda dapat membuat daftar semua konfigurasi laporan inventaris dalam project untuk lokasi tertentu menggunakan permintaan
List
ReportConfig:curl --request GET \ "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs?" \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \
Ganti:
YOUR_PROJECT
dengan nama project tempat bucket sumber dan tujuan Anda berada.LOCATION
dengan lokasi bucket sumber dan tujuan. Misalnya,us-west1
.ACCESS_TOKEN
dengan token akses yang Anda buat di langkah 1.
Jika Anda ingin membuat daftar semua konfigurasi laporan inventaris dalam bucket sumber tertentu, tambahkan parameter kueri
filter
ke permintaan:curl --request GET \ "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs?filter=objectMetadataReportOptions.storageFilters.bucket=BUCKET_NAME" \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \
Ganti:
YOUR_PROJECT
dengan nama project tempat bucket sumber dan tujuan Anda berada.LOCATION
dengan lokasi bucket sumber dan tujuan. Misalnya,us-west1
.BUCKET_NAME
dengan nama bucket sumber yang berisi konfigurasi laporan inventaris yang ingin Anda buat daftarnya.ACCESS_TOKEN
dengan token akses yang Anda buat di langkah 1.
Mendownload laporan inventaris
Konsol
Mendownload laporan secara individual
Laporan inventaris dibuat dan disimpan sebagai objek pada bucket tujuan, sehingga Anda dapat mendownloadnya seperti mendownload objek biasa.
Untuk mendownload laporan inventaris, selesaikan langkah-langkah berikut ini:
- Di Konsol Google Cloud, buka halaman Bucket Cloud Storage.
Dalam daftar bucket, klik nama bucket tujuan yang berisi laporan inventaris yang ingin Anda download.
Di halaman Detail bucket, pastikan tab Objek dipilih.
Klik Download
yang terkait dengan laporan inventaris yang ingin Anda download.
Jika tidak mengetahui bucket tujuan, Anda juga dapat mendownload laporan inventaris melalui konfigurasi laporan inventaris tempatnya dibuat:
- Di Konsol Google Cloud, buka halaman Bucket Cloud Storage.
Di daftar bucket, klik nama bucket sumber yang berisi konfigurasi laporan inventaris yang membuat laporan yang ingin didownload.
Di halaman Detail bucket, klik nama konfigurasi untuk konfigurasi laporan inventaris.
Di halaman Detail konfigurasi laporan yang muncul, buka bagian Histori laporan inventaris, lalu klik jalur objek tujuan dari laporan inventaris yang ingin Anda download.
Halaman Detail bucket akan muncul untuk bucket tujuan yang berisi laporan inventaris.
Klik Download
yang terkait dengan laporan inventaris yang ingin Anda download.
Mendownload shard laporan
Untuk mendownload laporan inventaris yang telah dibagi menjadi satu atau beberapa shard, selesaikan langkah-langkah berikut ini:
- Di Konsol Google Cloud, buka halaman Bucket Cloud Storage.
Dalam daftar bucket, klik nama bucket tujuan yang Anda tentukan saat membuat konfigurasi laporan inventaris.
Di halaman Detail bucket, periksa keberadaan file manifes. Keberadaan file manifes menunjukkan bahwa semua shard laporan inventaris telah dibuat.
Contoh nama file manifes adalah
fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json
.Di bucket tujuan, klik Download
yang terkait dengan file manifes. Catat nama file shard yang ingin Anda download dari kolomreport_shards_file_names
.Dalam bucket tujuan, klik Download
yang terkait dengan file shard yang ingin Anda download.
Command line
gcloud
Mendownload laporan secara individual
Untuk mendownload laporan inventaris, selesaikan langkah-langkah berikut ini:
Untuk membuat daftar semua laporan inventaris yang telah dibuat oleh konfigurasi laporan inventaris dan mengambil
REPORT_DETAIL_ID
-nya, gunakan perintahgcloud storage insights inventory-reports details list
:gcloud storage insights inventory-reports details list CONFIG_NAME \ --filter=EXPRESSION \ --page-size=SIZE \ --sort-by=FIELD
Ganti:
CONFIG_NAME
dengan nama unik konfigurasi laporan inventaris, dalam formatprojects/PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID
.EXPRESSION
dengan filter Boolean untuk diterapkan ke setiap item resource yang akan dibuat daftarnya. Jika ekspresi bernilai True, item tersebut akan dicantumkan. Untuk mengetahui detail dan contoh ekspresi filter, jalankan$ gcloud topic filters
.SIZE
dengan jumlah maksimum resource per halaman. Nilai defaultnya adalah 50.FIELD
dengan daftar yang dipisahkan koma dari nama-nama kunci kolom resource yang digunakan untuk pengurutan. Urutan defaultnya adalah menaik. Awali kolom dengan~
untuk urutan menurun di kolom tersebut.
Jika berhasil, perintah akan menampilkan output yang mirip dengan berikut ini:
REPORT_DETAIL_ID SNAPSHOT_TIME Report_2023-04-10T00-00 2023-04-10T00:53:03Z Report_2023-04-12T00-00 2023-04-12T00:52:54Z Report_2023-04-05T00-00 2023-04-05T00:53:01Z
Untuk mendownload laporan inventaris, Anda harus mengambil properti
reportPathPrefix
objek ReportDetail terlebih dahulu. Untuk mendapatkanreportPathPrefix
laporan, gunakan perintahgcloud storage insights inventory-reports details describe
:gcloud storage insights inventory-reports details describe REPORT_DETAIL_NAME
Ganti
REPORT_DETAIL_NAME
dengan nama laporan inventaris dalam formatprojects/PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID/reportDetails/REPORT_DETAIL_ID
.
Mendownload shard laporan
Untuk mendownload laporan inventaris yang telah dibagi menjadi satu atau beberapa shard, selesaikan langkah-langkah berikut ini:
Download file manifes laporan inventaris menggunakan perintah
gcloud storage cp
:gcloud storage cp gs://BUCKET_NAME/MANIFEST_FILE_NAME DOWNLOAD_PATH
Ganti:
BUCKET_NAME
dengan nama bucket tujuan.MANIFEST_FILE_NAME
dengan nama file manifes pada bucket tujuan, dalam konvensi penamaan berikut:REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json
Dengan keterangan:
REPORT_CONFIG_UUID
adalah UUID yang dihasilkan secara otomatis dari konfigurasi laporan inventaris yang membuat shard laporan yang ingin Anda download.TARGET_DATETIME
adalah tanggal dan waktu pembuatan laporan inventaris.
Misalnya,
fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json
.DOWNLOAD_PATH
dengan jalur ke sistem file tempat Anda ingin menyimpan laporan inventaris. Misalnya,./example_report.csv
Untuk mendownload file shard, gunakan perintah
gcloud storage cp
:gcloud storage cp gs://BUCKET_NAME/SHARD_FILE_NAME DOWNLOAD_PATH
Ganti:
BUCKET_NAME
dengan nama bucket tujuan.SHARD_FILE_NAME
dengan nama file shard yang dienkode ke URL yang ingin Anda download. Misalnya,fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv
DOWNLOAD_PATH
dengan jalur ke sistem file tempat Anda ingin menyimpan laporan inventaris. Misalnya,./example_report.csv
REST API
JSON API
Mendownload laporan secara individual
Untuk mendownload laporan inventaris, selesaikan langkah-langkah berikut ini:
Buat token akses dengan menjalankan perintah
gcloud auth print-access-token
:gcloud auth print-access-token
Untuk detail selengkapnya tentang perintah ini, lihat dokumentasi referensi
gcloud auth print-access-token
.Buat daftar semua laporan inventaris yang dibuat oleh konfigurasi laporan inventaris menggunakan
cURL
untuk memanggil JSON API dengan permintaanGet
ReportDetails:curl --request GET \ "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID/reportDetails/" \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \
Ganti:
YOUR_PROJECT
dengan nama project tempat bucket sumber dan tujuan Anda berada.LOCATION
dengan lokasi bucket sumber dan tujuan. Misalnya,us-west1
.REPORT_CONFIG_UUID
dengan UUID yang dibuat secara otomatis dari konfigurasi laporan inventaris yang membuat laporan yang ingin Anda download.ACCESS_TOKEN
dengan token akses yang Anda buat di langkah 1.
Guna mendapatkan detail setiap laporan, gunakan
cURL
untuk memanggil JSON API dengan permintaanGet
ReportDetails:curl --request GET \ "https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID/reportDetails/REPORT_DETAIL_ID" \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \
Ganti:
YOUR_PROJECT
dengan nama project tempat bucket sumber dan tujuan Anda berada.LOCATION
dengan lokasi bucket sumber dan tujuan. Misalnya,us-west1
.REPORT_CONFIG_UUID
dengan UUID yang dibuat secara otomatis dari konfigurasi laporan inventaris yang membuat laporan yang ingin Anda download.REPORT_DETAIL_ID
dengan nama laporan inventaris yang ingin Anda download.ACCESS_TOKEN
dengan token akses yang Anda buat di langkah 1.
Mendownload shard laporan
Untuk mendownload laporan inventaris yang telah dibagi menjadi satu atau beberapa shard, selesaikan langkah-langkah berikut ini:
Buat token akses dengan menjalankan perintah
gcloud auth print-access-token
:gcloud auth print-access-token
Untuk detail selengkapnya tentang perintah ini, lihat dokumentasi referensi
gcloud auth print-access-token
.Guna mendownload file manifes laporan inventaris, gunakan
cURL
untuk memanggil JSON API dengan permintaanGET
Object:curl -X GET \ --header "Authorization: Bearer ACCESS_TOKEN" \ --header "Accept: application/json" \ --header "Content-Type: application/json" \ "https://storage.googleapis.com/v1/storage/v1/b/BUCKET_NAME/o/MANIFEST_FILE_NAME?alt=media" \
Ganti:
ACCESS_TOKEN
dengan token akses yang Anda buat di langkah 1.BUCKET_NAME
dengan nama bucket tujuan.MANIFEST_FILE_NAME
dengan nama file manifes pada bucket tujuan, dalam konvensi penamaan berikut:REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json
Dengan keterangan:
REPORT_CONFIG_UUID
adalah UUID yang dibuat secara otomatis dari konfigurasi laporan inventaris yang membuat shard laporan yang ingin Anda download.TARGET_DATETIME
adalah tanggal laporan inventaris dibuat.
Misalnya,
fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json
.Kolom
report_shards_file_names
file manifes berisi nama shard laporan inventaris yang dapat Anda download.Guna mendownload file shard laporan inventaris, gunakan
curl
untuk memanggil Cloud Storage JSON API dengan permintaanGet
Object:curl -X GET \ --header "Authorization: Bearer OAUTH2_TOKEN" \ -o "DOWNLOAD_PATH" \ "https://storage.googleapis.com/storage/v1/b/BUCKET_NAME/o/SHARD_FILE_NAME?alt=media"
Ganti:
OAUTH2_TOKEN
dengan token akses yang Anda buat di Langkah 1.DOWNLOAD_PATH
dengan jalur ke sistem file lokal tempat Anda ingin menyimpan objek. Misalnya,Desktop/dog.png
.BUCKET_NAME
dengan nama bucket tujuan yang berisi laporan inventaris. Misalnya,my-bucket
.SHARD_FILE_NAME
dengan nama file shard yang dienkode ke URL yang ingin Anda download. Misalnya,fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv
Menghapus konfigurasi laporan inventaris
Konsol
Untuk menghapus konfigurasi laporan inventaris, selesaikan langkah-langkah berikut ini:
- Di Konsol Google Cloud, buka halaman Bucket Cloud Storage.
Pada daftar bucket, klik nama bucket sumber yang berisi konfigurasi laporan inventaris yang ingin Anda hapus.
Di halaman Detail bucket bucket sumber, klik tab Laporan inventaris.
Klik nama konfigurasi dari konfigurasi laporan inventaris yang ingin Anda hapus.
Di halaman Detail konfigurasi laporan yang muncul, klik Hapus
.
Command line
gcloud
Untuk menghapus konfigurasi laporan inventaris, gunakan
perintah
gcloud storage insights inventory-reports delete
:
gcloud storage insights inventory-reports delete CONFIG_NAME --force
Ganti CONFIG_NAME
dengan nama unik
konfigurasi laporan inventaris, dalam format
projects/PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID
.
Flag --force
menghapus metadata untuk semua laporan inventaris
yang dibuat oleh konfigurasi laporan inventaris tertentu. Objek laporan inventaris itu sendiri tidak akan dihapus.
REST API
JSON API
Untuk menghapus konfigurasi laporan inventaris, selesaikan langkah-langkah berikut ini:
Buat token akses dengan menjalankan perintah
gcloud auth print-access-token
:gcloud auth print-access-token
Untuk detail selengkapnya tentang perintah ini, lihat dokumentasi referensi
gcloud auth print-access-token
.Guna menghapus konfigurasi laporan inventaris, gunakan
cURL
untuk memanggil JSON API dengan permintaanDelete
ReportConfig:curl --request DELETE \ 'https://storageinsights.googleapis.com/v1/projects/YOUR_PROJECT/locations/LOCATION/reportConfigs/REPORT_CONFIG_UUID?force=true' \ --header 'Authorization: Bearer ACCESS_TOKEN' \ --header 'Accept: application/json' \ --header 'Content-Type: application/json' \
Ganti:
YOUR_PROJECT
dengan nama project tempat bucket sumber dan tujuan Anda berada.LOCATION
dengan lokasi bucket sumber dan tujuan. Misalnya,us-west1
.REPORT_CONFIG_UUID
dengan UUID yang dibuat secara otomatis dari konfigurasi laporan inventaris yang ingin Anda hapus.ACCESS_TOKEN
dengan token akses yang Anda buat di langkah 1.
Parameter kueri force
menghapus metadata untuk semua
laporan inventaris yang dibuat oleh konfigurasi laporan inventaris tertentu.
Objek laporan inventaris itu sendiri tidak akan dihapus.
Lanjutan: Membuat laporan inventaris dalam format yang dipartisi Hive
Saat membuat konfigurasi laporan inventaris, Anda dapat menentukan jalur tujuan, yang merupakan lokasi pada bucket tujuan tempat laporan inventaris akan dibuat. Hal ini memungkinkan Anda membuat laporan inventaris dalam format yang dipartisi Hive.
Anda menentukan jalur tujuan menggunakan kata kunci placeholder.
Kata kunci di jalur tujuan akan diganti dengan nilainya yang sesuai
saat laporan inventaris dibuat. Misalnya, jalur tujuan
config={{report-config-id}}/date={{date}}
dapat di-resolve ke config=1A34-F2E456-12B456-1C3D/date=2022-05-20
.
Kata kunci jalur tujuan
Anda dapat menentukan kata kunci
report-config-id
, date
, atau datetime
, yang diapit dalam {{ dan
}}, dengan:
report-config-id
merupakan UUID konfigurasi laporan inventaris.date
merupakan tanggal laporan inventaris dibuat. Mengikuti format ISO 8601.datetime
merupakan tanggal dan waktu pembuatan laporan inventaris. Mengikuti format ISO 8601.
Kata kunci dapat ditentukan menggunakan salah satu alat berikut:
Saat menggunakan Konsol Google Cloud, tentukan kata kunci di bagian Masukkan jalur tujuan (opsional). Bagian ini muncul saat Anda membuat konfigurasi laporan inventaris.
Saat menggunakan Google Cloud CLI, tentukan kata kunci placeholder menggunakan flag
--destination
.Saat menggunakan JSON API, tentukan kata kunci placeholder di kolom
storage_destination_options.destination_path
pada objek ReportConfig.
Kontrol akses dan keamanan
Rekomendasi dan pertimbangan berikut berkaitan dengan keamanan dan penggunaan laporan serta konfigurasi inventaris:
Sebaiknya pengguna dengan peran
roles/storage.admin
juga memiliki izinstorageinsights.reportConfigs.*
sehingga mereka dapat mempertahankan kontrol atas penggunaan semua resource dalam bucket mereka, seperti pembacaan objek dan metadatanya.Sebaiknya batasi akses ke resource laporan inventaris Anda dengan memberikan izin
storageinsights.reportConfigs.*
hanya kepada individu yang diperlukan.Setelah dibuat, konfigurasi laporan inventaris akan terus membuat laporan inventaris meskipun pengguna yang membuat konfigurasi tidak lagi memiliki izin yang diperlukan. Untuk berhenti membuat laporan inventaris, Anda dapat mengedit tanggal akhir dalam konfigurasi laporan inventaris atau menghapus konfigurasi sepenuhnya.