Mentransfer set data besar dari Cloud Storage ke Filestore

Gunakan Storage Transfer Service untuk memindahkan set data besar dari Cloud Storage ke fitur berbagi file Filestore Anda.

Storage Transfer Service membantu Anda mentransfer set data besar dengan cepat dan aman antara sistem penyimpanan objek dan file, baik data Anda dihosting di Cloud Storage, penyedia cloud pihak ketiga, atau secara lokal.

Storage Transfer Service mendukung transfer yang dipercepat dari set data besar, menangani ratusan TB data atau lebih. Pindahkan set data besar ke cloud untuk memanfaatkan operasi analisis dan machine learning yang tersedia dari instance Compute Engine yang mendasarinya tempat instance Filestore Anda terpasang.

Dengan Storage Transfer Service, Anda dapat dengan mudah membuat transfer yang dikelola Google atau mengonfigurasi transfer yang dihosting sendiri untuk kontrol penuh atas pemilihan rute jaringan dan penggunaan bandwidth.

Catatan: Untuk mentransfer data kurang dari 1 TB dari bucket Cloud Storage, gunakan gsutil atau gcloud. Untuk mengetahui informasi selengkapnya, lihat Menyalin data dari bucket Cloud Storage ke berbagi file Filestore atau Kapan harus menggunakan Storage Transfer Service.

Mentransfer data dari bucket Cloud Storage ke berbagi file Filestore

Mentransfer data dari Cloud Storage ke berbagi file Filestore menggunakan Storage Transfer Service memerlukan tugas berikut:

1. Menyiapkan lingkungan Anda.
2. Konfigurasi Filestore.
3. Mengonfigurasi Storage Transfer Service.
4. Buat dan mulai tugas transfer.

Bagian berikut akan memandu Anda melalui setiap tugas.

Menyiapkan lingkungan Anda

1. Pilih atau buat project.

   Untuk tujuan panduan ini, pastikan resource sumber dan tujuan Anda berada di project yang sama.

   Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Jika Anda menguji Filestore dan tidak berencana untuk menyimpan resource yang Anda buat, sebaiknya buat project, bukan memilih project yang sudah ada. Setelah selesai menguji, Anda dapat menghapus project, sehingga semua resource yang terkait dengan project tersebut akan dihapus.

   Buka pemilih project

2. Aktifkan penagihan.

   Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda. Pelajari cara mengonfirmasi bahwa penagihan diaktifkan untuk project Anda.

3. Aktifkan API berikut:

   • Filestore API

   • Resource Manager API

   • Pub/Sub API

   • Cloud Storage API

   • Storage Transfer API

   • Cloud Logging API

   • Compute Engine API

   • Service Usage API

   • Identity and Access Management API

4. Opsional: gcloud, yang merupakan komponen utama Google Cloud SDK, diinstal di setiap VM Compute Engine. Jika melakukan salah satu langkah berikut dari command line lokal, siapkan Google Cloud SDK.

   Instal dan lakukan inisialisasi Google Cloud SDK.

   Jika Anda telah menginstal Google Cloud SDK sebelumnya, pastikan Anda memiliki versi terbaru yang tersedia dengan menjalankan:

   gcloud components update
   

5. Buat akun layanan. Di bagian Grant this service account access to project, tetapkan peran berikut:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Pub/Sub Editor

   • Cloud Filestore Editor

   • Storage Object Admin

   • Storage Transfer Admin

   • Storage Transfer Agent

   1. Salin dan simpan nama akun layanan yang Anda buat untuk langkah berikutnya.

   2. Buat kunci akun layanan untuk akun yang baru saja Anda buat. Untuk tujuan panduan ini, buat satu kunci saja. Download file kunci dan simpan untuk langkah selanjutnya.

6. Tetapkan peran ke akun pengguna. Di halaman IAM, temukan akun pengguna Anda dan tetapkan peran berikut:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Storage Transfer Admin

   • Storage Admin

   Untuk informasi selengkapnya, lihat Izin pengguna.

Mengonfigurasi Filestore

1. Membuat instance Filestore. Saat membuat instance, terapkan spesifikasi berikut:

   1. Pastikan bucket Cloud Storage, VM klien, dan instance Filestore berada di region yang sama.

   2. Pilih jenis instance Enterprise.

   3. Opsional: Untuk set data yang lebih besar, minta penambahan kuota.

   4. Salin nama instance dan alamat IP, lalu simpan untuk langkah berikutnya.

2. Memasang instance Filestore pada mesin klien.

   Panduan ini menjelaskan transfer yang menggunakan empat VM Compute Engine sebagai mesin klien NFS. Anda akan membuat satu akun layanan yang beroperasi atas nama empat komputer klien. Setiap komputer klien akan menginstal tiga agen Storage Transfer Service.

   Catatan: Untuk performa terbaik, pengguna harus menggunakan tidak kurang dari empat VM Compute Engine untuk skenario ini.

   1. Buat instance VM Compute Engine dengan akses ke layanan Google Cloud lainnya.

      1. Konfigurasi VM dengan spesifikasi berikut:

         1. Saat menentukan lokasi, pastikan bucket Google Cloud, VM klien, dan instance Filestore berada di region yang sama.

         2. Setiap agen Storage Transfer Service memerlukan 4 vCPU dan RAM 8 GB. Untuk performa terbaik, jalankan beberapa agen per VM. Untuk tujuan panduan ini, sediakan instance virtual machine Compute Engine e2-standard-32.

         3. Di bagian Identity and API Access, tentukan hal berikut:

            1. Di drop-down Service accounts, pilih akun layanan yang baru saja Anda buat.

   2. Setelah instance VM Compute Engine dibuat, login ke mesin menggunakan SSH. Dari halaman Instance VM Compute Engine, cari instance yang Anda buat, lalu klik SSH.

   3. Gunakan editor teks seperti Vim untuk membuat salinan file kunci akun layanan dan menyimpannya secara lokal ke VM untuk sementara. Misalnya, service-account-key.json.

   4. Instal Docker di VM.

   5. gcloud sudah diinstal pada instance VM Compute Engine. Dari command line SSH, masukkan perintah berikut untuk mengizinkan akun layanan agar menggunakan gcloud:

      gcloud auth activate-service-account ACCOUNT --key-file=KEY_FILE
      

      dengan:

      • ACCOUNT adalah alamat email untuk akun layanan yang Anda buat. Misalnya, [e-mail].

      • KEY_FILE adalah jalur lokal relatif ke file kunci yang Anda salin sebelumnya. Contoh, sa-key.json.

   6. Masih dari baris perintah SSH, instal NFS:

      sudo apt-get -y update && sudo apt-get install nfs-common
      

   7. Buat direktori lokal untuk dipetakan ke berbagi file Filestore. Saat Anda mengulangi langkah-langkah ini untuk instance VM Compute Engine berikutnya, gunakan nama dan jalur yang sama:

      sudo mkdir -p MY_DIRECTORY
      

      dengan:

      • MY_DIRECTORY adalah nama direktori POSIX lokal untuk instance VM Compute Engine. Contoh, /usr/local/my_dir.

   8. Pasang berbagi file yang terkait dengan instance Filestore dengan menjalankan perintah mount. Anda dapat menggunakan opsi pemasangan NFS. Untuk mendapatkan performa terbaik, lihat rekomendasi pemasangan NFS di Memasang berbagi file di instance VM Compute Engine:

      sudo mount -o rw,intr IP_ADDRESS:/FILE_SHARE MY_DIRECTORY
      

      dengan:

      • IP_ADDRESS adalah alamat IP untuk instance Filestore. Ini dapat ditemukan di halaman Instance Filestore.

      • FILE_SHARE adalah nama berbagi file pada instance. Contoh, my_fs_instance.

      • MY_DIRECTORY adalah nama direktori yang Anda petakan di langkah sebelumnya. Ini adalah direktori di instance VM Compute Engine tempat Anda ingin memasang instance Filestore.

   9. Konfirmasi direktori pemasangan:

      mount -l | grep nfs
      

      Tindakan ini akan menampilkan hasil berikut atau serupa:

      10.66.55.194:/my_fs_instance on /home/usr/my_dir type nfs (rw,relatime,vers=3,rsize=262144,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.66.55.194,mountvers=3,mountport=2050,mountproto=udp,local_lock=none,addr=10.66.55.194)
      

      Atau, Anda juga dapat menggunakan perintah berikut:

      df -h --type=nfs
      

      Tindakan ini akan menampilkan hasil berikut atau serupa:

      Filesystem                       Size  Used Avail Use% Mounted on
      10.66.55.194:/my_fs_instance  1.0T     0  1.0T   0% /home/usr/my_dir
      

   10. Catat jalur direktori POSIX lokal dan simpan untuk langkah selanjutnya.

   11. Ulangi langkah sebelumnya untuk membuat tiga instance VM Compute Engine lagi dan memasang instance Filestore yang sama ke setiap instance. Gunakan akun layanan yang sama untuk mengelola keempat VM Compute Engine. Simpan salinan lokal kunci akun layanan untuk setiap VM untuk sementara.

Mengonfigurasi Storage Transfer Service

1. Membuat kumpulan agen.

2. Izinkan akun layanan yang dikelola Google untuk semua fitur Storage Transfer Service.

   1. Masukkan perintah berikut:

      gcloud transfer authorize --add-missing --creds-file=KEY_FILE
      

      dengan:

      • KEY_FILE adalah jalur lokal relatif ke file kunci yang Anda salin sebelumnya. Contoh, sa-key.json.

      Catat notifikasi yang ditampilkan terkait akun layanan yang dikelola Google dan simpan alamat email terkait untuk langkah berikutnya.

   2. Setelah beberapa menit, Anda akan melihat akun layanan yang dikelola Google di halaman IAM. Setelah diterapkan, pastikan peran berikut telah ditetapkan:

      • Pub/Sub Editor

      • Storage Admin

      Catatan: Izin biasanya memerlukan waktu beberapa detik untuk diterapkan, tetapi, dalam beberapa kasus, dapat memerlukan waktu hingga tujuh menit.

3. Instal agen transfer.

   Setiap agen Storage Transfer Service memerlukan 4 vCPU dan RAM 8 GB.

   Catatan: Storage Transfer Service mempertahankan atribut POSIX dan symlink selama transfer. Untuk mengetahui informasi selengkapnya, lihat penyimpanan metadata.

   1. Sebaiknya instal beberapa agen untuk memaksimalkan fault tolerance dan memanfaatkan penskalaan dinamis yang ditawarkan oleh Storage Transfer Service. Contoh berikut menunjukkan cara menginstal tiga agen di komputer klien. Dari command line SSH, jalankan perintah berikut:

      gcloud transfer agents install --pool=MY_AGENT_POOL --count=3 \
      --creds-file=MY_SERVICE_ACCOUNT_KEY_FILE
      

      dengan:

      • MY_AGENT_POOL adalah nama kumpulan agen yang Anda buat sebelumnya. Contoh, my-agent-pool.

      • MY_SERVICE_ACCOUNT_KEY_FILE adalah jalur relatif ke kunci akun layanan. Misalnya, /relative/path/to/service-account-key.json.

   2. Ulangi langkah-langkah ini untuk setiap komputer klien.

Membuat dan memulai tugas transfer

1. Buat tugas transfer untuk memindahkan data dari bucket Cloud Storage ke instance Filestore Anda. Referensikan direktori POSIX lokal yang Anda simpan sebelumnya untuk menentukan jalur tujuan. Misalnya, /home/usr/my_dir.

Memantau status transfer

Konsol

Pantau status transfer Anda dari halaman Transfer jobs di Google Cloud Console.

Command line

Anda dapat memantau status menggunakan command line:

gcloud transfer jobs monitor JOB_NAME

dengan:

• JOB_NAME adalah nama tugas transfer Anda. Misalnya, transferJobs/OPI6300379522015192941.

Respons akan menampilkan hal berikut atau yang serupa:

Polling for latest operation name...done.
Operation name: my-sts-project_transferJobs/OPI6300379522015192941_0000000001660692377
Parent job: OPI6300379522015192941
Start time: 2022-08-16T23:26:17.600981Z
SUCCESS | 100% (731.9MiB of 731.9MiB) | Skipped: 129.8kiB | Errors: 0
End time: 2022-08-16T23:27:23.429472Z

Untuk mengetahui informasi selengkapnya, lihat Memantau aktivitas agen atau Detail transfer sistem file.

Langkah selanjutnya

• Meningkatkan performa di seluruh resource Google Cloud.
• Buat instance VM Compute Engine dengan akses ke layanan Google Cloud lainnya.