Penyimpanan file dalam Compute Engine

Last reviewed 2024-11-07 UTC

Penyimpanan file, atau juga dikenal sebagai Network Attached Storage (NAS) menyediakan tingkat file akses ke aplikasi untuk membaca dan memperbarui informasi yang dapat dibagikan untuk beberapa mesin. Beberapa solusi penyimpanan file lokal memiliki arsitektur peningkatan skala dan cukup menambahkan jumlah yang tetap ke resource komputasi. Solusi penyimpanan file lainnya memiliki arsitektur penyebaran skala, dengan kapasitas dan komputasi (performa) dapat ditambahkan secara bertahap ke dalam sistem file yang ada sesuai yang dibutuhkan. Dalam kedua arsitektur penyimpanan, satu atau beberapa virtual machine (VM) dapat mengakses penyimpanan.

Meskipun beberapa sistem file menggunakan klien POSIX native, banyak sistem penyimpanan menggunakan protokol yang memungkinkan mesin klien memasang sistem file dan mengakses file tersebut seolah-olah dihosting secara lokal. Protokol yang paling umum untuk mengekspor fitur berbagi file adalah Network File System (NFS) untuk Linux (dan dalam beberapa kasus Windows) dan Blok Pesan Server (SMB) (SMB) untuk Windows.

Dokumen ini menjelaskan opsi berikut untuk berbagi file:

Faktor pokok dalam performa dan prediktabilitas semua layanan Google Cloud adalah stack jaringan yang dikembangkan Google selama bertahun-tahun. Dengan Jupiter Fabric, Google membangun stack jaringan tangguh, skalabel, dan stabil yang dapat terus berkembang tanpa memengaruhi workload Anda. Seiring Google meningkatkan dan memperkuat kemampuan jaringannya secara internal, solusi berbagi file Anda akan mendapatkan manfaat dari performa tambahan.

Salah satu fitur Google Cloud yang dapat membantu Anda mendapatkan hasil maksimal dari investasi Anda adalah kemampuan untuk menentukan jenis VM Kustom. Saat memilih ukuran filer, Anda dapat memilih kombinasi memori dan CPU yang tepat sehingga filer Anda beroperasi dengan performa optimal tanpa berlangganan secara berlebihan.

Selain itu, penting memilih kapasitas persistent disk Compute Engine dan jumlah vCPU yang tepat untuk memastikan perangkat penyimpanan server file Anda menerima bandwidth penyimpanan dan IOP yang diperlukan, serta bandwidth jaringan. VM menerima 2 Gbps throughput jaringan untuk setiap vCPU (hingga maksimum). Untuk menyesuaikan persistent disk, bacalah Mengoptimalkan performa persistent disk dan SSD lokal.

Perlu diperhatikan bahwa Cloud Storage juga merupakan cara yang bagus untuk menyimpan data berukuran petabyte dengan tingkat redundansi tinggi dengan biaya rendah, tetapi Cloud Storage memiliki profil performa dan API yang berbeda daripada server file yang dibahas di sini.

Ringkasan solusi server file

Tabel berikut meringkas solusi dan fitur server file:

Solusi Set data yang optimal Throughput Dukungan terkelola Protokol ekspor
Filestore Basic 1 TiB hingga 64 TiB Hingga 1,2 GiB/d Terkelola sepenuhnya oleh Google NFSv3
Filestore Zonal 1 TiB hingga 100 TiB Hingga 26 GiB/d Terkelola sepenuhnya oleh Google NFSv4.1
Filestore Regional 1 TiB hingga 100 TiB Hingga 26 GiB/d Terkelola sepenuhnya oleh Google NFSv4.1
Google Cloud NetApp Volumes 1 GiB hingga 100 TiB MB/d hingga 4,5 GiB/d Terkelola sepenuhnya oleh Google NFSv3, NFSv4.1, SMB2, SMB3
NetApp Cloud Volumes ONTAP 1 GiB hingga 1 PiB bervariasi Dikelola pelanggan NFSv3, NFSv4.1, SMB2, SMB3, iSCSI
Nasuni 10 TB hingga > 1 PB Hingga 1,2 GBps Nasuni dan pelanggan terkelola NFSv3, NFSv4, NFSv4.1, NFSv4.2, SMB2, SMB3
Persistent Disk Hanya Baca < 64 TB 240 hingga 1,200 MBps Tidak Lampiran langsung

Persistent Disk dan SSD lokal

Jika Anda memiliki data yang hanya perlu diakses oleh satu VM atau tidak berubah seiring waktu, Anda dapat menggunakan volume Persistent Disk Compute Engine, dan menghindari server file sepenuhnya. Dengan persistent disk, Anda dapat memformatnya dengan sistem file seperti Ext4 atau XFS dan memasang volume dalam mode baca-tulis atau hanya baca. Ini berarti Anda dapat memasang volume pada sebuah instance terlebih dahulu, memuatnya dengan data yang diperlukan, lalu memasangnya sebagai disk hanya-baca ke ratusan VM secara bersamaan. Penggunaan persistent disk hanya-baca tidak berfungsi untuk semua kasus penggunaan, tetapi dapat sangat mengurangi kompleksitas, dibandingkan dengan menggunakan sebuah server file.

Persistent disk menghasilkan performa yang konsisten. Semua disk dengan ukuran yang sama (dan untuk persistent disk SSD, jumlah vCPU yang sama) yang Anda pasangkan pada instance memiliki karakteristik performa yang sama. Anda tidak perlu melakukan prapenyiapan atau menguji persistent disk sebelum menggunakannya dalam produksi.

Biaya persistent disk mudah ditentukan karena tidak ada biaya I/O yang perlu dipertimbangkan setelah menyediakan volume Anda. Persistent disk juga dapat diubah ukurannya jika diperlukan. Dengan demikian, Anda dapat memulai dengan volume berbiaya rendah dan berkapasitas rendah, serta tidak perlu membuat instance atau disk tambahan untuk menskalakan kapasitas.

Jika total kapasitas penyimpanan adalah persyaratan utamanya, Anda dapat menggunakan persistent disk standar yang berbiaya rendah. Untuk mendapatkan performa terbaik sekaligus terus mengembangkan ketahanan, Anda dapat menggunakan persistent disk SSD.

Jika data Anda bersifat ephemeral dan memerlukan latensi sub-milidetik dan operasi I/O per detik (IOPS) yang tinggi, Anda dapat memanfaatkan hingga 9 TB SSD lokal untuk mendapatkan performa yang ekstrem. SSD lokal menyediakan GBps bandwidth dan jutaan IOPS, semuanya tanpa menggunakan bandwidth jaringan yang dialokasikan instance Anda. Penting untuk diingat bahwa SSD lokal memiliki kompromi tertentu dalam ketersediaan, ketahanan, dan fleksibilitas.

Untuk perbandingan berbagai jenis disk yang tersedia untuk instance Compute Engine, lihat dokumentasi untuk block storage.

Pertimbangan saat memilih solusi penyimpanan file

Memilih solusi penyimpanan file mengharuskan Anda melakukan kompromi terkait pengelolaan, biaya, performa, dan skalabilitas. Membuat keputusan akan lebih mudah jika Anda memiliki workload yang jelas, yang jarang terjadi. Jika workload berkembang seiring waktu atau sangat bervariasi, sebaiknya hemat biaya demi fleksibilitas dan elastisitas, sehingga Anda dapat berkembang dalam solusi. Di sisi lain, jika Anda memiliki workload sementara dan sudah dikenal baik, Anda dapat membuat arsitektur penyimpanan file sesuai keperluan yang dapat dengan mudah dirombak dan dibangun kembali untuk memenuhi kebutuhan penyimpanan langsung Anda.

Salah satu keputusan pertama yang harus dibuat adalah apakah Anda ingin membayar layanan penyimpanan terkelola, solusi yang mencakup dukungan produk, atau solusi yang tidak didukung.

  • Layanan penyimpanan file terkelola adalah yang paling mudah dioperasikan, karena Google atau partner menangani semua operasi. Layanan ini bahkan memungkinkan penyediaan perjanjian tingkat layanan (SLA) untuk ketersediaan seperti kebanyakan layanan Google Cloud lainnya.
  • Solusi yang tidak terkelola, tetapi didukung, adalah menyediakan fleksibilitas tambahan. Partner dapat membantu mengatasi masalah apa pun, tetapi pengoperasian solusi penyimpanan sehari-hari diserahkan kepada pengguna.
  • Solusi yang tidak didukung memerlukan upaya paling banyak untuk di-deploy dan dipelihara, sehingga semua masalah diberikan kepada pengguna. Solusi berikut tidak tercantum dalam dokumen ini.

Keputusan Anda berikutnya melibatkan penentuan persyaratan ketahanan dan ketersediaan solusi. Sebagian besar solusi file merupakan solusi zona dan tidak secara default memberikan perlindungan jika zona gagal. Jadi, penting untuk mempertimbangkan apakah solusi pemulihan dari bencana (DR) yang melindungi dari kegagalan zona diperlukan. Penting juga untuk memahami persyaratan aplikasi untuk ketahanan dan ketersediaan. Misalnya, pilihan SSD lokal atau persistent disk dalam deployment Anda memiliki dampak besar, begitu juga konfigurasi software solusi file. Setiap solusi memerlukan perencanaan yang cermat untuk mencapai ketahanan, ketersediaan, dan bahkan perlindungan yang tinggi terhadap kegagalan zona dan regional.

Terakhir, pertimbangkan lokasi (yaitu, zona, region, pusat data) lokal) tempat Anda perlu mengakses data. Lokasi lahan komputasi yang mengakses data Anda memengaruhi pilihan solusi filer Anda karena hanya beberapa solusi yang mengizinkan akses hybrid lokal dan dalam cloud.

Solusi penyimpanan file terkelola

Bagian ini menjelaskan solusi yang dikelola Google untuk penyimpanan file.

Filestore Basic

Filestore adalah solusi NAS yang terkelola sepenuhnya dari Google.

Instance Filestore Basic cocok untuk berbagi file, pengembangan software, dan beban kerja GKE. Anda dapat memilih HDD atau SSD untuk menyimpan data. SSD memberikan performa yang lebih baik. Dengan salah satu opsi tersebut, kapasitas akan diskalakan secara bertahap, dan Anda dapat melindungi data dengan menggunakan pencadangan.

Filestore Zonal

Filestore Zonal menyederhanakan penyimpanan perusahaan dan pengelolaan data di Google Cloud dan di seluruh hybrid cloud. Filestore Zonal memberikan akses paralel berperforma tinggi yang hemat biaya ke data global sekaligus mempertahankan konsistensi ketat yang didukung oleh sistem file terdistribusi yang skalabel secara dinamis. Dengan Filestore Zonal, aplikasi NFS dan alur kerja NAS yang sudah ada dapat berjalan di cloud tanpa memerlukan pemfaktoran ulang, tetapi tetap mempertahankan manfaat layanan data perusahaan (misalnya, snapshot dan pencadangan). Driver CSI Filestore memungkinkan persistensi data, portabilitas, dan berbagi tanpa hambatan untuk workload dalam penampung.

Anda dapat menskalakan instance Zonal Filestore sesuai permintaan. Dengan API, Anda dapat membuat dan memperluas infrastruktur sistem file jika diperlukan, sehingga memastikan performa dan kapasitas penyimpanan selalu sesuai dengan persyaratan alur kerja dinamis Anda. Saat cluster Zonal Filestore diperluas, metadata dan performa I/O akan diskalakan secara linear. Penskalaan ini memungkinkan Anda meningkatkan dan mempercepat berbagai alur kerja yang memproses banyak data, termasuk komputasi berperforma tinggi, analisis, agregasi data lintas situs, DevOps, dan banyak lagi. Dengan demikian, Filestore Zonal sangat cocok digunakan dalam industri yang berfokus pada data seperti ilmu hayati (misalnya, pengurutan genom), layanan keuangan, serta media dan hiburan.

Regional Filestore

Filestore Regional adalah solusi NFS berbasis cloud yang dikelola sepenuhnya dan memungkinkan Anda men-deploy aplikasi penting berbasis file di Google Cloud, yang didukung oleh SLA yang memberikan ketersediaan regional 99,99%. Dengan SLA ketersediaan regional 99,99%, Filestore Regional dirancang untuk aplikasi yang menuntut ketersediaan tinggi. Dengan beberapa klik mouse (beberapa perintah gcloud atau panggilan API), Anda dapat menyediakan bagian NFS yang direplikasi secara sinkron di tiga zona dalam satu region. Jika salah satu zona dalam region ini tidak tersedia, Filestore Regional akan terus menyalurkan data secara transparan ke aplikasi tanpa intervensi operasional dari Anda.

Untuk melindungi data penting lebih lanjut, Filestore juga memungkinkan Anda mengambil dan menyimpan snapshot sistem file secara berkala. Dengan Filestore, Anda dapat memulihkan file individu atau seluruh sistem file dalam waktu kurang dari 10 menit dari salah satu titik pemulihan sebelumnya.

Untuk aplikasi penting seperti SAP, tingkat aplikasi dan database harus memiliki ketersediaan tinggi. Untuk memenuhi persyaratan ini, Anda dapat men-deploy tingkat database SAP ke Google Cloud Hyperdisk Extreme, di beberapa zona menggunakan ketersediaan tinggi database bawaan. Demikian pula, tingkat aplikasi NetWeaver, yang memerlukan file yang dapat dieksekusi bersama di banyak VM, dapat di-deploy ke Filestore Regional, yang mereplikasi data Netweaver di beberapa zona dalam satu region. Hasil akhirnya adalah arsitektur aplikasi tiga tingkat yang sangat penting dan sangat tersedia.

Organisasi IT juga semakin men-deploy aplikasi stateful dalam container di Google Kubernetes Engine (GKE). Hal ini sering kali menyebabkan mereka mempertimbangkan kembali infrastruktur penyimpanan mana yang akan digunakan untuk mendukung aplikasi tersebut. Anda dapat menggunakan penyimpanan blok (Persistent Disk), penyimpanan file (Filestore Basic, Zonal, atau Regional), atau penyimpanan objek (Cloud Storage). Multishare Filestore untuk GKE yang dikombinasikan dengan driver CSI Filestore memungkinkan organisasi yang memerlukan beberapa Pod GKE untuk memiliki akses file bersama, sehingga memberikan peningkatan tingkat ketersediaan untuk workload yang sangat penting.

NetApp Volumes

NetApp Volumes adalah layanan Google yang terkelola sepenuhnya yang memungkinkan Anda memasang penyimpanan file bersama ke instance komputasi Google Cloud dengan cepat. NetApp Volumes mendukung akses SMB, NFS, dan multi-protokol. NetApp Volumes memberikan performa tinggi ke aplikasi Anda dengan latensi rendah, dengan kemampuan perlindungan data yang andal: snapshot, salinan, replikasi lintas region, dan pencadangan. Layanan ini cocok untuk aplikasi yang memerlukan beban kerja berurutan dan acak, yang dapat diskalakan di ratusan atau ribuan instance Compute Engine. Dalam hitungan detik, volume dengan ukuran berkisar 100 GiB hingga 100 TiB dapat disediakan dan dilindungi dengan kemampuan perlindungan data yang andal. Dengan tiga tingkat layanan (Standard, Premium, dan Ekstrem) yang dapat Anda ubah sesuai permintaan, NetApp Volumes memberikan performa yang sesuai untuk workload Anda, tanpa memengaruhi ketersediaan. Untuk informasi tentang lokasi Google Cloud tempat NetApp Volumes tersedia, lihat lokasi NetApp Volumes.

Solusi partner di Cloud Marketplace

Solusi yang disediakan partner berikut tersedia di Cloud Marketplace.

NetApp Cloud Volumes ONTAP

NetApp Cloud Volumes ONTAP (NetApp CVO) adalah solusi berbasis cloud yang dikelola pelanggan yang menghadirkan set fitur lengkap dari ONTAP, yaitu operasi pengelolaan data terkemuka NetApp ke Google Cloud. CVO NetApp di-deploy dalam VPC Anda, dengan penagihan dan dukungan dari Google. Software ONTAP berjalan di VM Compute Engine, dan menggunakan kombinasi persistent disk dan bucket Cloud Storage (jika tingkatan diaktifkan) untuk menyimpan data NAS. Filer bawaan mengakomodasi volume NAS menggunakan penyediaan tipis sehingga Anda hanya membayar untuk penyimpanan yang Anda gunakan. Seiring pertumbuhan data, persistent disk tambahan ditambahkan ke kumpulan kapasitas agregat.

NetApp CVO mengelola infrastruktur dasar dan memungkinkan Anda membuat volume data virtual yang dibentuk dari kumpulan agregat yang konsisten dengan semua volume ONTAP lainnya di cloud atau lingkungan lokal mana pun. Volume data yang Anda buat mendukung semua versi NFS, SMB, NFS/SMB multi-protokol, dan iSCSI. Solusi ini mendukung berbagai workload berbasis file, termasuk konten web dan multimedia, yang digunakan di banyak industri seperti otomasi desain elektronik (EDA) serta media dan hiburan.

NetApp CVO mendukung snapshot point-in-time instan yang menghemat ruang, pencadangan permanen tingkat blok bawaan, dan inkremental terus menerus ke Cloud Storage, dan replikasi asinkron lintas region untuk pemulihan dari bencana. Opsi untuk memilih jenis instance Compute Engine dan persistent disk memungkinkan Anda mencapai performa yang diinginkan untuk workload Anda. Meskipun beroperasi dalam konfigurasi berperforma tinggi, NetApp CVO menerapkan efisiensi penyimpanan seperti penghapusan duplikat, pemadatan, dan kompresi serta tingkat otomatis untuk data yang jarang digunakan ke bucket Cloud Storage, sehingga Anda dapat menyimpan data dalam jumlah petabyte sekaligus mengurangi biaya penyimpanan secara keseluruhan secara signifikan.

Cloud EXAScaler DDN

Platform EXAScaler Cloud DDN adalah file bersama paralel yang terkemuka di industri solusi untuk pemrosesan data berperforma tinggi dan untuk mengelola volume besar dari data yang diperlukan untuk mendukung AI, HPC, dan analisis workload. Ilmu hayati, energi, kendaraan otonom, layanan keuangan, dan pelanggan lain yang banyak menggunakan data dapat memanfaatkan EXAScaler Cloud untuk AI dan analisis di cloud guna memaksimalkan laba dari resource Google Cloud dan membuat alur kerja yang lincah dengan cloud bursting dan retensi data jangka panjang.

Penggunaan EXAScaler Cloud yang ideal mencakup aplikasi deep learning dan AI inferensi, arsitektur hybrid cloud untuk cloud bursting guna memanfaatkan pemrosesan berperforma tinggi sesuai permintaan, dan sebagai repositori untuk menyimpan aset jangka panjang dari deployment EXAScaler lokal. EXAScaler berbasis cloud mudah di-deploy dan memanfaatkan sistem file paralel DDN, yang mendukung lebih dari dua pertiga dari 100 superkomputer teratas.

EXAScaler Cloud dirancang untuk mengoptimalkan workload cloud memproses banyak data guna mengurangi waktu untuk memperoleh insight dengan mengurangi pertentangan I/O dan memberikan akses yang tahan ke penyimpanan bersama untuk sejumlah besar klien. EXAScaler Cloud mengoptimalkan seluruh lingkungan untuk performa tinggi dari aplikasi hingga ke perangkat penyimpanan, termasuk jaringan dan instance komputasi itu sendiri.

Dengan konfigurasi yang fleksibel, EXAScaler Cloud berguna untuk workload awal berperforma tinggi, IOPS yang lebih persisten, atau aplikasi berorientasi throughput, dan bahkan data persisten jangka panjang. Dengan meniru arsitektur lokal pada cloud, pelanggan dapat mentransisikan workload dengan lancar, sehingga membantu meminimalkan gangguan aplikasi pengguna akhir saat workload berpindah.

DDN EXAScaler Cloud menangani workload yang skalabel dan didukung dengan keahlian yang dipelajari dalam mendukung lingkungan data terbesar di dunia. Dengan opsi dukungan premium, pelanggan mendapatkan pengalaman dukungan pakar yang sama pada infrastruktur lokal dan cloud.

Untuk informasi selengkapnya, lihat referensi berikut:

Penyimpanan File Cloud Nasuni

Nasuni menggantikan server file perusahaan dan perangkat NAS serta semua infrastruktur terkait, termasuk hardware cadangan dan DR, dengan alternatif cloud yang lebih sederhana dan berbiaya rendah. Nasuni menggunakan penyimpanan objek Google Cloud untuk memberikan solusi penyimpanan software-as-a-service (SaaS) yang lebih efisien dan dapat diskalakan untuk menangani pertumbuhan data file tidak terstruktur yang cepat. Nasuni dirancang untuk menangani berbagi file departemen, project, dan organisasi serta alur kerja aplikasi untuk setiap karyawan, di mana pun mereka bekerja.

Penyimpanan File Cloud Nasuni.

Nasuni menawarkan tiga paket, dengan harga untuk perusahaan dan organisasi dari segala ukuran sehingga dapat tumbuh dan berkembang sesuai kebutuhan.

Manfaatnya meliputi beberapa hal berikut:

  • Penyimpanan file utama berbasis cloud lebih murah hingga 70%. Arsitektur memanfaatkan kebijakan pengelolaan siklus proses objek bawaan. Kebijakan ini memungkinkan fleksibilitas penuh untuk digunakan dengan kelas Cloud Storage, termasuk Standard, Nearline, Coldline, dan Archive. Dengan menggunakan class Archive akses langsung untuk penyimpanan utama dengan Nasuni, Anda dapat menghemat biaya hingga 70%.

  • Berbagi file departemen dan organisasi dalam cloud. Arsitektur berbasis cloud Nasuni menawarkan sebuah namespace global di seluruh region Google Cloud, tanpa batasan jumlah file, ukuran file, atau snapshot, sehingga Anda dapat menyimpan file langsung dari desktop ke Google Cloud melalui protokol drive-mapping NAS (SMB) standar.

  • Pencadangan bawaan dan pemulihan dari bencana (disaster recovery). Operasi "setel dan lupakan" Nasuni memudahkan pengelolaan penyimpanan file global. Pencadangan dan DR disertakan, dan satu konsol pengelolaan memungkinkan Anda mengawasi dan mengontrol lingkungan di mana saja, kapan saja.

  • Mengganti server file yang telah lama. Nasuni memudahkan migrasi server file Microsoft Windows dan sistem penyimpanan file lain yang ada ke Google Cloud, sehingga mengurangi biaya dan kompleksitas pengelolaan lingkungan ini.

Untuk informasi selengkapnya, lihat referensi berikut:

Penyimpanan Sycomp yang Didukung oleh IBM Storage Scale

Sycomp Storage Fueled oleh IBM Storage Scale di Google Cloud Marketplace memungkinkan Anda menjalankan komputasi berperforma tinggi (HPC), kecerdasan buatan (AI), machine learning (ML), dan workload big data di Google Cloud. Dengan Sycomp Storage, Anda dapat mengakses data secara bersamaan dari ribuan VM, mengurangi biaya dengan mengelola tingkat penyimpanan secara otomatis, dan menjalankan aplikasi Anda secara lokal atau di Google Cloud. Sycomp Storage Fueled oleh IBM Storage Scale tersedia di Cloud Marketplace, dapat di-deploy dengan cepat, dan mendukung akses ke data Anda melalui NFS dan klien IBM Storage Scale.

IBM Storage Scale adalah sistem file paralel yang membantu mengelola volume besar (PB) data dengan aman. Sycomp Storage Scale adalah sistem file paralel yang sangat cocok untuk HPC, AI, ML, big data, dan aplikasi lain yang memerlukan sistem file bersama yang mematuhi POSIX. Dengan kapasitas penyimpanan yang dapat disesuaikan dan penskalaan performa, Sycomp Storage dapat mendukung beban kerja HPC, AI, dan ML dari kecil hingga besar.

Setelah Anda men-deploy cluster di Google Cloud, tentukan cara Anda akan menggunakannya. Pilih apakah Anda ingin menggunakan cluster hanya di cloud atau dalam mode hybrid dengan menghubungkan ke cluster IBM Storage Scale lokal yang ada, solusi NFS NAS pihak ketiga, atau solusi penyimpanan berbasis objek lainnya.

Untuk informasi selengkapnya, lihat referensi berikut:

Kontributor

Penulis: Sean Derrington | Group Outbound Product Manager, Storage

Kontributor lainnya: