Panduan ini membantu Anda menilai persyaratan penyimpanan pada workload cloud Anda, memahami opsi penyimpanan yang tersedia di Google Cloud, dan merancang strategi penyimpanan yang memberikan nilai bisnis secara optimal.
Untuk ringkasan visual rekomendasi desain utama, lihat diagram pohon keputusan.
Untuk informasi tentang cara memilih layanan penyimpanan untuk workload AI dan ML, lihat Mendesain penyimpanan untuk workload AI dan ML di Google Cloud.
Ringkasan proses desain
Sebagai arsitek cloud, saat merencanakan penyimpanan untuk workload cloud, Anda harus terlebih dahulu mempertimbangkan karakteristik fungsional workload, batasan keamanan, persyaratan ketahanan, ekspektasi performa, dan sasaran biaya. Selanjutnya Anda perlu meninjau layanan dan fitur penyimpanan yang tersedia di Google Cloud. Kemudian, berdasarkan persyaratan dan opsi yang tersedia, Anda memilih layanan dan fitur penyimpanan yang diperlukan. Diagram berikut menunjukkan proses desain tiga fase ini:
Menentukan persyaratan Anda
Gunakan kuesioner di bagian ini untuk menentukan persyaratan penyimpanan utama untuk workload yang ingin Anda deploy di Google Cloud.
Panduan untuk menentukan persyaratan penyimpanan
Saat menjawab kuesioner, pertimbangkan panduan berikut:
Menentukan persyaratan secara terperinci
Misalnya, jika aplikasi Anda memerlukan penyimpanan file berbasis Network File System (NFS), identifikasi versi NFS yang diperlukan.
Pertimbangkan persyaratan pada masa mendatang
Misalnya, deployment Anda saat ini mungkin melayani pengguna di negara-negara Asia, tetapi Anda mungkin berencana untuk memperluas bisnis ke benua lain. Dalam hal ini, pertimbangkan semua persyaratan peraturan terkait penyimpanan di wilayah bisnis baru.
Pertimbangkan peluang dan persyaratan khusus cloud
Manfaatkan peluang khusus cloud.
Misalnya, untuk mengoptimalkan biaya penyimpanan data yang disimpan di Cloud Storage, Anda dapat mengontrol durasi penyimpanan menggunakan kebijakan retensi data dan konfigurasi siklus proses.
Pertimbangkan persyaratan khusus cloud.
Misalnya, data lokal mungkin berada di satu pusat data, dan Anda mungkin perlu mereplikasi data yang dimigrasikan di dua lokasi Google Cloud untuk redundansi.
Kuesioner
Kuesioner berikut bukan daftar periksa lengkap untuk perencanaan. Gunakan paket tersebut sebagai titik awal untuk menganalisis semua persyaratan penyimpanan workload yang ingin Anda deploy ke Google Cloud secara sistematis.
Mengevaluasi karakteristik beban kerja Anda
Jenis data apa yang perlu Anda simpan?
Contoh
- Konten situs statis
- Pencadangan dan pengarsipan untuk pemulihan dari bencana
- Log audit untuk kepatuhan
- Objek data besar yang didownload pengguna secara langsung
- Data transaksional
- Data tidak terstruktur dan heterogen
Berapa kapasitas yang Anda butuhkan? Pertimbangkan persyaratan Anda saat ini dan di masa mendatang.
Haruskah kapasitas diskalakan secara otomatis sesuai penggunaan?
Apa saja persyaratan aksesnya? Misalnya, apakah data tersebut harus dapat diakses dari luar Google Cloud?
Apa pola baca-tulis yang diharapkan?
Contoh
- Sering menulis dan membaca
- Sering menulis, tetapi sesekali membaca
- Menulis dan membaca sesekali
- Menulis sesekali, tetapi sering membaca
Apakah workload memerlukan akses berbasis file, misalnya menggunakan NFS?
Akankah beberapa klien dapat membaca atau menulis data secara bersamaan?
Mengidentifikasi batasan keamanan
Apa saja persyaratan enkripsi data Anda? Misalnya, apakah Anda perlu menggunakan kunci yang Anda kontrol?
Apakah ada persyaratan residensi data?
Menentukan persyaratan ketahanan data
- Apakah workload Anda memerlukan cache latensi rendah atau ruang awal?
- Apakah Anda perlu mereplikasi data di cloud untuk redundansi?
- Apakah Anda membutuhkan konsistensi baca-tulis yang ketat untuk dataset yang direplikasi?
Menetapkan ekspektasi performa
Berapa tarif I/O yang diperlukan?
Apa tingkat throughput baca dan tulis yang dibutuhkan aplikasi Anda?
Lingkungan apa yang memerlukan penyimpanan? Untuk workload tertentu, Anda mungkin memerlukan penyimpanan berperforma tinggi untuk lingkungan produksi, tetapi dapat memilih opsi berperforma lebih rendah untuk lingkungan non-produksi.
Meninjau opsi penyimpanan
Google Cloud menawarkan layanan penyimpanan untuk semua format penyimpanan utama: blok, file, dan objek. Tinjau dan evaluasi fitur, opsi desain, dan keuntungan relatif dari layanan yang tersedia untuk setiap format penyimpanan.
Ringkasan
Block storage
Data yang Anda simpan di block storage dibagi menjadi beberapa potongan, masing-masing disimpan sebagai blok terpisah dengan alamat yang unik. Aplikasi mengakses data dengan merujuk ke alamat blok yang sesuai. Block storage dioptimalkan untuk workload dengan IOPS tinggi, seperti pemrosesan transaksi. Ini serupa dengan jaringan area penyimpanan lokal (SAN) dan sistem penyimpanan terpasang langsung (DAS).
Opsi block storage di Google Cloud adalah bagian dari layanan Compute Engine.
| Opsi | Ringkasan |
|---|---|
| Persistent Disk | Hard disk drive (HDD) dan solid state drive (SSD) khusus untuk aplikasi perusahaan dan database yang di-deploy ke VM Compute Engine dan cluster Google Kubernetes Engine (GKE). |
| Google Cloud Hyperdisk | Penyimpanan jaringan yang cepat dan redundan untuk VM Compute Engine, dengan performa dan volume yang dapat dikonfigurasi dan dapat diubah ukurannya secara dinamis. |
| SSD Lokal | Block storage efemeral yang terpasang secara lokal untuk aplikasi berperforma tinggi. |
Penyimpanan file
Data diatur dan direpresentasikan dalam hierarki file yang disimpan dalam folder, mirip dengan Network Attached Storage (NAS) lokal. Sistem file dapat dipasang pada klien menggunakan protokol seperti NFS dan Server Message Block (SMB). Aplikasi mengakses data menggunakan nama file dan jalur direktori yang relevan.
Google Cloud menyediakan berbagai solusi pihak ketiga dan terkelola sepenuhnya untuk penyimpanan file.
| Solusi | Ringkasan |
|---|---|
| Filestore |
Penyimpanan berbasis file menggunakan server file NFS untuk VM Compute Engine dan cluster Google Kubernetes Engine. Anda dapat memilih tingkat layanan (Basic, Zonal, atau Regional) yang sesuai dengan kasus penggunaan Anda. |
| Parallelstore |
Sistem file paralel latensi rendah untuk AI, komputasi berperforma tinggi (HPC), dan aplikasi yang intensif data. |
| NetApp Volumes | Penyimpanan berbasis file menggunakan NFS atau SMB. Anda dapat memilih tingkat layanan (Flex, Standard, Premium, atau Extreme) yang sesuai dengan kasus penggunaan Anda. |
| Opsi lainnya | Lihat Ringkasan opsi server file. |
Penyimpanan objek
Data disimpan sebagai objek dalam hierarki datar bucket. Setiap objek diberi ID unik secara global. Objek dapat memiliki metadata yang ditetapkan sistem dan ditentukan pengguna, untuk membantu Anda mengatur dan mengelola data. Aplikasi mengakses data dengan mereferensikan ID objek, menggunakan REST API atau library klien.
Cloud Storage menyediakan penyimpanan objek yang murah, sangat tahan lama, dan tanpa batas untuk beragam jenis data. Data yang Anda simpan di Cloud Storage dapat diakses dari mana saja, di dalam dan di luar Google Cloud. Redundansi opsional di seluruh region memberikan keandalan maksimum. Anda dapat memilih kelas penyimpanan yang sesuai dengan persyaratan retensi data dan frekuensi akses Anda.
Analisis komparatif
Tabel berikut mencantumkan kemampuan utama layanan penyimpanan di Google Cloud.
| Persistent Disk | Hyperdisk | SSD Lokal | Filestore | Parallelstore | NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|---|
| Kapasitas |
10 GiB hingga 64 TiB per disk 257 TiB per VM |
4 GiB hingga 64 TiB per disk 512 TiB per VM 10 TiB hingga 1 PiB per penyimpanan bersama |
375 GiB per disk 12 TiB per VM |
1-100 TiB per instance | 12-100 TiB | 1 TiB hingga 10 PiB per penyimpanan bersama 1 GiB hingga 100 TiB per volume |
Tidak ada batas bawah atau atas |
|
Penskalaan |
|
Peningkatan skala | Tidak skalabel |
|
Tidak skalabel | Peningkatan dan penurunan skala | Penskalaan otomatis berdasarkan penggunaan |
| Berbagi |
Didukung | Didukung | Tidak dapat dibagikan | Dapat dipasang di beberapa VM Compute Engine, klien jarak jauh, dan cluster GKE | Dapat dipasang di beberapa VM Compute Engine dan cluster GKE. | Dapat dipasang di beberapa VM Compute Engine dan cluster GKE |
|
| Opsi kunci enkripsi |
|
|
Kunci yang dimiliki dan dikelola Google |
|
Kunci yang dimiliki dan dikelola Google |
|
|
| Persistensi |
Masa pakai disk | Masa pakai disk | Ephemeral (data hilang saat VM dihentikan atau dihapus) | Masa pakai instance Filestore | Ephemeral (data hilang saat instance dihapus) | Masa aktif volume | Masa pakai bucket |
| Ketersediaan |
|
|
Zonal | Zonal |
|
| |
| Performa |
Penskalaan linear dengan ukuran disk dan jumlah CPU | Penyimpanan persisten Penskalaan dinamis | Penyimpanan awal berperforma tinggi |
|
Penskalaan linear dengan kapasitas yang disediakan | Performa yang skalabel Ekspektasi bergantung pada tingkat layanan |
Penskalaan otomatis kecepatan baca-tulis, dan redistribusi beban dinamis |
| Pengelolaan |
Memformat dan memasang secara manual | Memformat dan memasang secara manual | Memformat, garis, dan memasang secara manual | Terkelola sepenuhnya | Terkelola sepenuhnya | Terkelola sepenuhnya | Terkelola sepenuhnya |
Tabel berikut mencantumkan jenis beban kerja yang sesuai dengan setiap opsi penyimpanan Google Cloud:
| Opsi penyimpanan | Jenis beban kerja |
|---|---|
| Persistent Disk |
|
| Hyperdisk |
|
| SSD Lokal |
|
| Filestore |
|
| Parallelstore |
|
| NetApp Volumes |
|
| Cloud Storage |
|
Memilih opsi penyimpanan
Ada dua bagian untuk memilih opsi penyimpanan:
- Menentukan layanan penyimpanan yang Anda butuhkan.
- Memilih fitur dan opsi desain yang diperlukan dalam layanan tertentu.
Contoh fitur dan opsi desain layanan khusus
Persistent Disk
- Region dan zona deployment
- Replikasi regional
- Jenis, ukuran, dan IOPS disk (untuk Persistent Disk Ekstrem)
- Kunci enkripsi: Milik Google dan dikelola Google, dikelola pelanggan, atau disediakan pelanggan
- Jadwal snapshot
Hyperdisk
- Zona deployment
- Jenis, ukuran, throughput (untuk Hyperdisk Throughput), dan IOPS (untuk Hyperdisk Extreme)
- Kunci enkripsi: Milik Google dan dikelola Google, dikelola pelanggan, atau disediakan pelanggan
- Jadwal snapshot
Filestore
- Region dan zona deployment
- Tingkat instance
- Kapasitas
- Rentang IP: dialokasikan secara otomatis atau khusus
- Kontrol akses
NetApp Volumes
- Region deployment
- Tingkat layanan untuk penyimpanan gabungan
- Kapasitas volume dan gabungan
- Protokol volume
- Aturan ekspor volume
Cloud Storage
- Lokasi: multi-region, region ganda, satu region
- Kelas penyimpanan: Standard, Nearline, Coldline, Archive
- Kontrol akses: seragam atau terperinci
- Kunci enkripsi: Milik Google dan dikelola Google, dikelola pelanggan, atau disediakan pelanggan
- Kebijakan retensi
Rekomendasi penyimpanan
Gunakan rekomendasi berikut sebagai titik awal untuk memilih layanan dan fitur penyimpanan yang sesuai kebutuhan Anda. Untuk panduan khusus untuk workload AI dan ML, lihat Mendesain penyimpanan untuk workload AI dan ML di Google Cloud.
Rekomendasi penyimpanan umum juga disajikan sebagai hierarki keputusan nanti dalam dokumen ini.
Untuk aplikasi yang memerlukan sistem file paralel, gunakan Parallelstore.
Untuk aplikasi yang memerlukan akses berbasis file, pilih layanan penyimpanan file yang sesuai berdasarkan persyaratan Anda untuk protokol akses, ketersediaan, dan performa.
Protokol akses Rekomendasi NFS - Jika Anda memerlukan ketersediaan regional dan performa tinggi yang diskalakan dengan kapasitas, gunakan Filestore Regional.
- Jika ketersediaan zonal sudah memadai, tetapi Anda memerlukan performa tinggi yang diskalakan dengan kapasitas, gunakan Filestore Zonal atau NetApp Volumes Premium atau Extreme.
- Jika tidak, gunakan Filestore Basic atau NetApp Volumes.
Untuk mengetahui informasi tentang perbedaan antara tingkat layanan Filestore, lihat Tingkat layanan.
SMB Gunakan NetApp Volumes. Untuk workload yang memerlukan penyimpanan utama dengan performa tinggi, gunakan SSD lokal, Persistent Disk, atau Hyperdisk sesuai kebutuhan Anda.
Persyaratan Rekomendasi Scratch disk atau cache cepat Gunakan disk SSD lokal (sementara).
IOPS berurutan Gunakan Persistent Disk dengan jenis disk pd-standard.Workload intensif IOPS Gunakan Persistent Disk dengan jenis disk pd-extremeataupd-ssd.Keseimbangan antara performa dan biaya Gunakan Persistent Disk dengan jenis disk pd-balanced.Menskalakan performa dan kapasitas secara dinamis Gunakan Hyperdisk.
Pilih jenis Hyperdisk yang sesuai:
- Hyperdisk Balanced direkomendasikan untuk workload serbaguna dan aplikasi dengan ketersediaan tinggi yang memerlukan akses tulis bersama.
- Hyperdisk Ekstrem direkomendasikan untuk workload yang memerlukan I/O tinggi, seperti database berperforma tinggi.
- Hyperdisk Throughput direkomendasikan untuk analisis penyebaran skala, drive data untuk aplikasi yang sensitif biaya, dan untuk penyimpanan yang jarang diakses.
- Hyperdisk ML direkomendasikan untuk workload ML yang memerlukan throughput tinggi ke beberapa VM dalam mode hanya baca.
Untuk mengetahui informasi selengkapnya, lihat Tentang Google Cloud Hyperdisk.
- Bergantung pada persyaratan redundansi Anda, pilih antara disk zona
dan regional.
Untuk analisis komparatif mendetail, lihat Opsi Persistent Disk.Persyaratan Rekomendasi Redundansi di satu zona dalam satu region Menggunakan Persistent Disk atau Hyperdisk zonal. Redundansi di beberapa zona dalam satu region Menggunakan Persistent Disk regional.
Untuk penyimpanan berskala tak terbatas dan tersedia secara globalgunakan Cloud Storage.
Bergantung pada frekuensi akses data dan durasi penyimpanan, pilih kelas Cloud Storage yang sesuai.
Persyaratan Rekomendasi> Frekuensi akses bervariasi, atau periode retensi data tidak diketahui atau tidak dapat diprediksi. Gunakan fitur Autoclass untuk mentransisikan objek dalam bucket secara otomatis ke kelas penyimpanan yang sesuai berdasarkan pola akses setiap objek. Penyimpanan untuk data yang sering diakses, termasuk untuk analisis throughput tinggi, data lake, situs, video streaming, dan aplikasi seluler. Gunakan class penyimpanan Standard.
Untuk meng-cache data yang sering diakses dan menayangkannya dari lokasi yang dekat dengan klien, gunakan Cloud CDN.
Penyimpanan berbiaya rendah untuk data yang jarang diakses, yang dapat disimpan minimal selama 30 hari (misalnya, cadangan dan konten multimedia longtail). Gunakan class penyimpanan Nearline. Penyimpanan berbiaya rendah untuk data yang jarang diakses, yang dapat disimpan minimal selama 90 hari (misalnya, pemulihan dari bencana). Gunakan class penyimpanan Coldline. Penyimpanan berbiaya paling rendah untuk data yang jarang diakses, yang dapat disimpan minimal selama 365 hari, termasuk arsip peraturan. Gunakan class penyimpanan Archive. Untuk analisis komparatif yang mendetail, lihat class Cloud Storage.
Opsi transfer data
Setelah memilih layanan penyimpanan Google Cloud yang sesuai, untuk men-deploy dan menjalankan workload, Anda perlu mentransfer data ke Google Cloud. Data yang perlu Anda transfer mungkin ada di infrastruktur lokal atau di platform cloud lainnya.
Anda dapat menggunakan metode berikut untuk mentransfer data ke Google Cloud:
- Mentransfer data secara online menggunakan Storage Transfer Service: Mengotomatiskan transfer data dalam jumlah besar antara sistem penyimpanan objek dan file, termasuk Cloud Storage, Amazon S3, layanan penyimpanan Azure, dan sumber data lokal.
- Mentransfer data secara offline menggunakan Transfer Appliance: Mentransfer dan memuat data dalam jumlah besar secara offline ke Google Cloud dalam situasi saat konektivitas dan bandwidth jaringan tidak tersedia, terbatas, atau mahal.
- Mengupload data ke Cloud Storage: Mengupload data secara online ke bucket Cloud Storage menggunakan konsol Google Cloud, gcloud CLI, Cloud Storage API, atau library klien.
Saat memilih metode transfer data, pertimbangkan faktor-faktor seperti ukuran data, batasan waktu, ketersediaan bandwidth, sasaran biaya, serta persyaratan keamanan dan kepatuhan. Untuk informasi tentang cara merencanakan dan menerapkan transfer data ke Google Cloud, lihat Bermigrasi ke Google Cloud: Mentransfer set data besar.
Hierarki keputusan opsi penyimpanan
Diagram hierarki keputusan berikut memandu Anda melalui rekomendasi penyimpanan Google Cloud yang telah dibahas sebelumnya. Untuk panduan khusus workload AI dan ML, lihat Mendesain penyimpanan untuk workload AI dan ML di Google Cloud.
Langkah selanjutnya
- .Perkirakan biaya penyimpanan menggunakan Kalkulator Harga Google Cloud.
- Pelajari praktik terbaik untuk membangun opologi cloud yang dioptimalkan untuk keamanan, ketahanan, biaya, dan performa.
- Pelajari kapan harus menggunakan sistem file paralel seperti Lustre untuk workload HPC.
Kontributor
Penulis: Kumar Dhanagopal | Developer Solusi Lintas Produk
Kontributor lainnya:
- Brennan Doyle | Solutions Architect
- Dean Hildebrand | Technical Director, Office of the CTO
- Geoffrey Noer | Group Product Manager
- Jack Zhou | Technical Writer
- Jason Wu | Director, Product Management
- Jeff Allen | Solutions Architect
- Sean Derrington | Group Outbound Product Manager, Storage