Panduan ini membantu Anda menilai persyaratan penyimpanan pada workload cloud Anda, memahami opsi penyimpanan yang tersedia di Google Cloud, dan merancang strategi penyimpanan yang memberikan nilai bisnis secara optimal.
Untuk ringkasan visual rekomendasi desain utama, lihat diagram pohon keputusan.
Jika Anda telah membaca dokumen ini sebelumnya dan memerlukan ringkasan perubahan, lihat log perubahan.
Ringkasan proses desain
Sebagai arsitek cloud, saat merencanakan penyimpanan untuk workload cloud, Anda harus terlebih dahulu mempertimbangkan karakteristik fungsional workload, batasan keamanan, persyaratan ketahanan, ekspektasi performa, dan sasaran biaya. Selanjutnya Anda perlu meninjau layanan dan fitur penyimpanan yang tersedia di Google Cloud. Kemudian, berdasarkan persyaratan dan opsi yang tersedia, Anda memilih layanan dan fitur penyimpanan yang diperlukan.
Diagram berikut menunjukkan proses desain 3 fase ini:
Menentukan persyaratan Anda
Gunakan kuesioner di bagian ini untuk menentukan persyaratan penyimpanan utama untuk workload yang ingin Anda deploy di Google Cloud.
Panduan untuk menentukan persyaratan penyimpanan
Saat menjawab kuesioner, pertimbangkan panduan berikut:
Menentukan persyaratan secara terperinci
Misalnya, jika aplikasi Anda memerlukan penyimpanan file berbasis Network File System (NFS), identifikasi versi NFS yang diperlukan.
Pertimbangkan persyaratan pada masa mendatang
Misalnya, deployment Anda saat ini mungkin melayani pengguna di negara-negara Asia, tetapi Anda mungkin berencana untuk memperluas bisnis ke benua lain. Dalam hal ini, pertimbangkan semua persyaratan peraturan terkait penyimpanan di wilayah bisnis baru.
Pertimbangkan peluang dan persyaratan khusus cloud
Manfaatkan peluang khusus cloud.
Misalnya, untuk mengoptimalkan biaya penyimpanan data yang disimpan di Cloud Storage, Anda dapat mengontrol durasi penyimpanan menggunakan kebijakan retensi data dan konfigurasi siklus proses.
Pertimbangkan persyaratan khusus cloud.
Misalnya, data lokal mungkin berada di satu pusat data, dan Anda mungkin perlu mereplikasi data yang dimigrasikan di dua lokasi Google Cloud untuk redundansi.
Kuesioner
Kuesioner berikut bukan daftar periksa lengkap untuk perencanaan. Gunakan paket tersebut sebagai titik awal untuk menganalisis semua persyaratan penyimpanan workload yang ingin Anda deploy ke Google Cloud secara sistematis.
Mengevaluasi karakteristik beban kerja Anda
Jenis data apa yang Anda perlukan untuk menyimpan?
Contoh
- Konten situs statis
- Pencadangan dan pengarsipan untuk pemulihan dari bencana
- Log audit untuk kepatuhan
- Objek data besar yang didownload pengguna secara langsung
- Data transaksional
- Data tidak terstruktur dan heterogen
Berapa kapasitas yang Anda butuhkan? Pertimbangkan persyaratan Anda saat ini dan di masa mendatang.
Haruskah kapasitas diskalakan secara otomatis sesuai penggunaan?
Apa saja persyaratan aksesnya? Misalnya, apakah data tersebut harus dapat diakses dari luar Google Cloud?
Apa pola baca-tulis yang diharapkan?
Contoh
- Sering menulis dan membaca
- Sering menulis, tetapi sesekali membaca
- Menulis dan membaca sesekali
- Menulis sesekali, tetapi sering membaca
Apakah workload memerlukan akses berbasis file, misalnya menggunakan NFS?
Akankah beberapa klien dapat membaca atau menulis data secara bersamaan?
Mengidentifikasi batasan keamanan
Apa saja persyaratan enkripsi data Anda? Misalnya, apakah Anda perlu menggunakan kunci yang Anda kontrol?
Apakah ada persyaratan residensi data?
Menentukan persyaratan ketahanan data
- Apakah workload Anda memerlukan cache latensi rendah atau ruang awal?
- Apakah Anda perlu mereplikasi data di cloud untuk redundansi?
- Apakah Anda membutuhkan konsistensi baca-tulis yang ketat untuk dataset yang direplikasi?
Menetapkan ekspektasi performa
Berapa tarif I/O yang diperlukan?
Apa tingkat throughput baca dan tulis yang dibutuhkan aplikasi Anda?
Lingkungan apa yang memerlukan penyimpanan? Untuk workload tertentu, Anda mungkin memerlukan penyimpanan berperforma tinggi untuk lingkungan produksi, tetapi dapat memilih opsi berperforma lebih rendah untuk lingkungan non-produksi.
Meninjau opsi penyimpanan
Google Cloud menawarkan layanan penyimpanan untuk semua format penyimpanan utama: blok, file, dan objek. Tinjau dan evaluasi fitur, opsi desain, dan keuntungan relatif dari layanan yang tersedia untuk setiap format penyimpanan.
Ringkasan
Block storage
Data yang Anda simpan di block storage dibagi menjadi beberapa potongan, masing-masing disimpan sebagai blok terpisah dengan alamat yang unik. Aplikasi mengakses data dengan merujuk ke alamat blok yang sesuai. Block storage dioptimalkan untuk workload dengan IOPS tinggi, seperti pemrosesan transaksi. Ini serupa dengan jaringan area penyimpanan lokal (SAN) dan sistem penyimpanan terpasang langsung (DAS).
Opsi block storage di Google Cloud adalah bagian dari layanan Compute Engine.
| Opsi | Ringkasan |
|---|---|
| Persistent Disk | Hard disk drive (HDD) dan solid state drive (SSD) khusus untuk aplikasi perusahaan dan database yang di-deploy ke VM Compute Engine dan cluster Google Kubernetes Engine (GKE). |
| Google Cloud Hyperdisk | Penyimpanan jaringan yang cepat dan redundan untuk VM Compute Engine, dengan performa dan volume yang dapat dikonfigurasi dan dapat diubah ukurannya secara dinamis. |
| SSD Lokal | Block storage efemeral yang terpasang secara lokal untuk aplikasi berperforma tinggi. |
Penyimpanan file
Data diatur dan direpresentasikan dalam hierarki file yang disimpan dalam folder, mirip dengan Network Attached Storage (NAS) lokal. Sistem file dapat dipasang pada klien menggunakan protokol seperti NFS dan Server Message Block (SMB). Aplikasi mengakses data menggunakan nama file dan jalur direktori yang relevan.
Google Cloud menyediakan berbagai solusi pihak ketiga dan terkelola sepenuhnya untuk penyimpanan file.
| Solusi | Ringkasan |
|---|---|
| Google Cloud Filestore |
Server file NFSv3 untuk VM Compute Engine dan cluster Google Kubernetes Engine. Anda dapat memilih tingkat layanan (Basic, High Scale, atau Enterprise) yang sesuai dengan kasus penggunaan Anda. |
| Google Cloud NetApp Volumes | Penyimpanan berbasis file menggunakan NFSv3, NFSv4.1, atau SMB. |
| Opsi lainnya | Lihat Ringkasan opsi server file. |
Penyimpanan objek
Data disimpan sebagai objek dalam hierarki datar bucket. Setiap objek diberi ID unik secara global. Objek dapat memiliki metadata yang ditetapkan sistem dan ditentukan pengguna, untuk membantu Anda mengatur dan mengelola data. Aplikasi mengakses data dengan mereferensikan ID objek, menggunakan REST API atau library klien. Penyimpanan objek mirip dengan SAN lokal dalam hal kemampuan untuk diskalakan, tetapi lebih mudah dikelola dan lebih murah.
Cloud Storage menyediakan penyimpanan objek yang murah, sangat tahan lama, dan tanpa batas untuk beragam jenis data. Data yang Anda simpan di Cloud Storage dapat diakses dari mana saja, di dalam dan di luar Google Cloud. Redundansi opsional di seluruh region memberikan keandalan maksimum. Anda dapat memilih class penyimpanan yang sesuai dengan persyaratan retensi data dan frekuensi akses Anda.
Analisis komparatif
Tabel berikut memberikan analisis komparatif tentang kemampuan utama layanan penyimpanan di Google Cloud.
| Persistent Disk | Hyperdisk | SSD Lokal | Filestore | Google Cloud NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|
| Kapasitas |
10 GiB hingga 64 TiB per disk 257 TiB per VM |
4 GiB hingga 64 TiB per disk 512 TiB per VM |
375 GiB per disk 12 TiB per VM |
1-100 TiB per instance Filestore (kapasitas minimum dan maksimum serta peningkatan penskalaan bervariasi menurut tingkat layanan) | 2–500 TiB per penyimpanan bersama 100 GiB hingga 100 TiB per volume |
Tidak ada batas bawah atau atas |
|
Penskalaan |
|
Menskalakan performa dan kapasitas secara dinamis | Tidak skalabel |
|
Peningkatan dan penurunan skala | Penskalaan otomatis berdasarkan penggunaan |
| Berbagi |
Pembagian terbatas
|
Tidak dapat dibagikan | Tidak dapat dibagikan | Dapat dipasang di beberapa VM Compute Engine, klien jarak jauh, dan cluster GKE | Dapat dipasang di beberapa VM Compute Engine dan cluster GKE |
|
| Kunci enkripsi |
Kunci yang dikelola Google, dikelola pelanggan, atau yang disediakan pelanggan | Kunci yang dikelola Google, dikelola pelanggan, atau yang disediakan pelanggan | Kunci yang dikelola Google |
|
Kunci yang dikelola Google atau dikelola pelanggan | Kunci yang dikelola Google, dikelola pelanggan, atau disediakan pelanggan |
| Persistensi |
Masa pakai disk | Masa pakai disk | Ephemeral (data aktif hingga VM dihentikan atau dihapus) | Masa pakai instance Filestore | Masa aktif volume | Masa pakai bucket |
| Ketersediaan |
|
Zonal | Zonal |
| ||
| Performa |
Penskalaan performa tinggi secara linear, berdasarkan ukuran disk dan jumlah CPU | Skalabel secara dinamis, berperforma tinggi Penyimpanan persisten | Penyimpanan awal berperforma tinggi | Performa yang skalabel Ekspektasi bergantung pada tingkat layanan |
Penskalaan otomatis kecepatan baca-tulis, dan redistribusi beban dinamis | |
| Pengelolaan |
Memformat dan memasang secara manual | Memformat dan memasang secara manual | Memformat, garis, dan memasang secara manual | Terkelola sepenuhnya | Terkelola sepenuhnya | Terkelola sepenuhnya |
| Workload |
|
|
|
|
|
|
Memilih opsi penyimpanan
Ada dua bagian untuk memilih opsi penyimpanan:
- Menentukan layanan penyimpanan yang Anda butuhkan.
- Memilih fitur dan opsi desain yang diperlukan dalam layanan tertentu.
Contoh fitur dan opsi desain layanan khusus
Persistent Disk
- Region dan zona deployment
- Replikasi regional
- Jenis, ukuran, dan IOPS disk (untuk Persistent Disk Ekstrem)
- Kunci enkripsi: Dikelola Google, dikelola pelanggan, atau disediakan pelanggan
- Jadwal snapshot
Hyperdisk
- Zona deployment
- Jenis, ukuran, dan IOPS disk
- Kunci enkripsi: Dikelola Google, dikelola pelanggan, atau disediakan pelanggan
- Jadwal snapshot
Filestore
- Region dan zona deployment
- Tingkat instance
- Kapasitas
- Rentang IP: dialokasikan secara otomatis atau khusus
- Kontrol akses
NetApp Volumes
- Region deployment
- Tingkat layanan untuk penyimpanan gabungan
- Kapasitas volume dan gabungan
- Protokol volume
- Aturan ekspor volume
Cloud Storage
- Lokasi: multi-region, region ganda, satu region
- Kelas penyimpanan: Standard, Nearline, Coldline, Archive
- Kontrol akses: seragam atau terperinci
- Kunci enkripsi: Dikelola Google, dikelola pelanggan, atau disediakan pelanggan
- Kebijakan retensi
Rekomendasi penyimpanan
Gunakan rekomendasi berikut sebagai titik awal untuk memilih layanan dan fitur penyimpanan yang sesuai kebutuhan Anda. Rekomendasi ini juga disajikan sebagai pohon keputusan nanti dalam dokumen ini.
Untuk aplikasi yang memerlukan akses berbasis file, pilih layanan penyimpanan file yang sesuai berdasarkan kebutuhan Anda untuk protokol akses, ketersediaan, dan performa.
Protokol akses Rekomendasi NFSv3 - Jika Anda membutuhkan ketersediaan regional, gunakan Filestore Enterprise.
- Jika ketersediaan zona cukup tetapi Anda membutuhkan performa tinggi, gunakan Filestore Zonal.
- Jika tidak, gunakan Filestore Basic atau NetApp Volumes.
Untuk mengetahui informasi selengkapnya tentang perbedaan antara berbagai tingkat layanan Filestore, lihat Tingkat layanan.
SMB atau NFSv4.1 Menggunakan NetApp Volumes. Untuk workload yang memerlukan penyimpanan utama dengan performa tinggi, gunakan SSD lokal, Persistent Disk, atau Hyperdisk sesuai kebutuhan Anda.
Persyaratan Rekomendasi Scratch disk atau cache cepat Gunakan disk SSD lokal (sementara).
IOPS berurutan Gunakan Persistent Disk dengan jenis disk pd-standard.Workload intensif IOPS Gunakan Persistent Disk dengan jenis disk pd-extremeataupd-ssd.Keseimbangan antara performa dan biaya Gunakan Persistent Disk dengan jenis disk pd-balanced.Performa dan kapasitas yang skalabel secara dinamis Gunakan Hyperdisk.
Pilih jenis Hyperdisk yang sesuai:
- Hyperdisk Throughput direkomendasikan untuk analisis penyebaran skala, drive data untuk aplikasi yang sensitif biaya, dan untuk penyimpanan yang jarang diakses.
- Hyperdisk Ekstrem direkomendasikan untuk workload yang memerlukan I/O tinggi, seperti database berperforma tinggi.
- Bergantung pada persyaratan redundansi Anda, pilih antara disk zona
dan regional.
Untuk analisis komparatif mendetail, lihat Opsi Persistent Disk.Persyaratan Rekomendasi Redundansi di satu zona dalam satu region Menggunakan Persistent Disk atau Hyperdisk zonal. Redundansi di beberapa zona dalam satu region Menggunakan Persistent Disk regional.
Untuk penyimpanan berskala tak terbatas dan tersedia secara globalgunakan Cloud Storage.
Bergantung pada frekuensi akses data dan durasi penyimpanan, pilih kelas Cloud Storage yang sesuai.
Persyaratan Rekomendasi> Frekuensi akses bervariasi, atau periode retensi data tidak diketahui atau tidak dapat diprediksi. Gunakan fitur Autoclass untuk mentransisikan objek dalam bucket secara otomatis ke kelas penyimpanan yang sesuai berdasarkan pola akses setiap objek. Penyimpanan untuk data yang sering diakses, termasuk untuk analisis throughput tinggi, data lake, situs, video streaming, dan aplikasi seluler. Gunakan kelas penyimpanan Standard.
Untuk meng-cache data yang sering diakses dan menayangkannya dari lokasi yang dekat dengan klien, gunakan Cloud CDN.
Penyimpanan berbiaya rendah untuk data yang jarang diakses, yang dapat disimpan minimal selama 30 hari (misalnya, cadangan dan konten multimedia longtail). Gunakan kelas penyimpanan Nearline. Penyimpanan berbiaya rendah untuk data yang jarang diakses, yang dapat disimpan minimal selama 90 hari (misalnya, pemulihan dari bencana). Gunakan kelas penyimpanan Coldline. Penyimpanan berbiaya paling rendah untuk data yang jarang diakses, yang dapat disimpan minimal selama 365 hari, termasuk arsip peraturan. Gunakan kelas penyimpanan Archive. Untuk analisis komparatif yang mendetail, lihat class Cloud Storage.
Opsi transfer data
Setelah memilih layanan penyimpanan Google Cloud yang sesuai, Anda perlu mentransfer data ke Google Cloud untuk men-deploy dan menjalankan workload. Data yang perlu Anda transfer mungkin berada di infrastruktur lokal atau di platform cloud lainnya.
Anda dapat menggunakan metode berikut untuk mentransfer data ke Google Cloud:
- Transfer data secara online menggunakan Storage Transfer Service: Otomatiskan transfer data dalam jumlah besar antara sistem penyimpanan objek dan file, termasuk Cloud Storage, Amazon S3, layanan penyimpanan Azure, dan sumber data lokal.
- Transfer data secara offline menggunakan Transfer Appliance: Mentransfer dan memuat data dalam jumlah besar secara offline ke Google Cloud jika konektivitas jaringan dan bandwidth tidak tersedia, terbatas, atau mahal.
- Mengupload data ke Cloud Storage: Upload data secara online ke bucket Cloud Storage menggunakan konsol Google Cloud, gcloud CLI, Cloud Storage API, atau library klien.
Saat Anda memilih metode transfer data, pertimbangkan faktor-faktor seperti ukuran data, batasan waktu, ketersediaan bandwidth, sasaran biaya, serta persyaratan keamanan dan kepatuhan. Untuk mengetahui informasi selengkapnya tentang perencanaan dan penerapan transfer data ke Google Cloud, lihat Bermigrasi ke Google Cloud: Mentransfer set data besar.
Pohon keputusan opsi penyimpanan
Diagram pohon keputusan berikut memandu Anda dalam memahami rekomendasi penyimpanan Google Cloud yang telah dibahas sebelumnya:
Langkah selanjutnya
- .Perkirakan biaya penyimpanan menggunakan Kalkulator Harga Google Cloud.
- Pelajari praktik terbaik untuk membangun opologi cloud yang dioptimalkan untuk keamanan, ketahanan, biaya, dan performa.
- Pelajari perbedaan antar penyimpanan objek, blok, dan file di Google Cloud (video).
- Pelajari kapan harus menggunakan sistem file paralel seperti Lustre untuk workload HPC.
Log perubahan
Bagian ini menyediakan ringkasan perubahan teknis yang signifikan dalam panduan ini.
| Tanggal | Deskripsi perubahan |
|---|---|
| 14 Maret 2024 | Menambahkan bagian Opsi transfer data. |
| 8 Desember 2023 | Memperbarui jumlah kapasitas untuk Hyperdisk dan SSD Lokal. |
| 17 Oktober 2023 | Memperbarui rekomendasi penyimpanan dan diagram pohon keputusan untuk menyertakan Google Cloud NetApp Volumes sebagai opsi untuk penyimpanan file NFSv3. |
| 25 Agustus 2023 |
|
| 6 Oktober 2021 | Menambahkan panduan untuk Filestore Enterprise. |
| 20 Agustus 2021 | Publikasi awal. |
Kontributor
Penulis: Kumar Dhanagopal | Developer Solusi Lintas Produk
Kontributor lainnya:
- Brennan Doyle | Arsitek Solusi
- Dean Hildebrand | Direktur Teknis, Kantor CTO
- Geoffrey Noer | Group Product Manager
- Jack Zhou | Penulis Teknis
- Jason Wu | Direktur, Manajemen Produk
- Jeff Allen | Arsitek Solusi
- Sean Derrington | Group Outbound Product Manager, Penyimpanan