Mentransfer set data besar dari Cloud Storage ke Filestore

Gunakan Storage Transfer Service untuk memindahkan set data besar dari Cloud Storage ke file share Filestore Anda.

Storage Transfer Service membantu Anda mentransfer set data besar dengan cepat dan aman antara sistem penyimpanan objek dan file, baik data Anda dihosting di Cloud Storage, penyedia cloud pihak ketiga, maupun di infrastruktur lokal.

Storage Transfer Service mendukung transfer set data besar yang dipercepat, yang menangani ratusan TB data atau lebih. Pindahkan set data besar Anda ke cloud untuk memanfaatkan operasi analisis dan machine learning yang tersedia dari instance Compute Engine yang mendasari tempat instance Filestore Anda dipasang.

Dengan Layanan Transfer Penyimpanan, Anda dapat membuat transfer yang dikelola Google atau mengonfigurasi transfer yang dihosting sendiri untuk mendapatkan kontrol penuh atas pemilihan rute jaringan dan penggunaan bandwidth.

Catatan: Untuk mentransfer data kurang dari 1 TB dari bucket Cloud Storage, gunakan Google Cloud CLI. Untuk informasi selengkapnya, lihat Menyalin data dari bucket Cloud Storage ke berbagi file Filestore atau Kapan harus menggunakan Storage Transfer Service.

Mentransfer data dari bucket Cloud Storage ke fileshare Filestore

Mentransfer data dari Cloud Storage ke fileshare Filestore menggunakan Storage Transfer Service memerlukan tugas berikut:

1. Siapkan lingkungan Anda.
2. Konfigurasi Filestore.
3. Mengonfigurasi Storage Transfer Service.
4. Buat dan mulai tugas transfer.

Bagian berikut akan memandu Anda melakukan setiap tugas.

Menyiapkan lingkungan Anda

1. Pilih atau buat project.

   Untuk tujuan panduan ini, pastikan resource sumber dan tujuan Anda berada di project yang sama.

   Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Jika Anda menguji Filestore dan tidak berencana untuk menyimpan resource yang Anda buat, sebaiknya buat project, bukan memilih project yang ada. Setelah selesai menguji, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

2. Aktifkan penagihan.

   Pastikan penagihan diaktifkan untuk project Google Cloud Anda. Pelajari cara mengonfirmasi bahwa penagihan diaktifkan untuk project Anda.

3. Aktifkan API berikut:

   • Filestore API

   • Resource Manager API

   • Pub/Sub API

   • Cloud Storage API

   • Storage Transfer API

   • Cloud Logging API

   • Compute Engine API

   • Service Usage API

   • Identity and Access Management API

4. Opsional: gcloud, komponen utama Google Cloud SDK, diinstal di setiap VM Compute Engine. Jika Anda melakukan salah satu langkah berikut dari command line lokal, siapkan Google Cloud SDK.

   Instal dan lakukan inisialisasi Google Cloud SDK.

   Jika sebelumnya Anda telah menginstal Google Cloud SDK, pastikan Anda memiliki versi terbaru yang tersedia dengan menjalankan:

   gcloud components update
   

5. Buat akun layanan. Di bagian Berikan akses project ke akun layanan ini, tentukan peran berikut:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Pub/Sub Editor

   • Cloud Filestore Editor

   • Storage Object Admin

   • Storage Transfer Admin

   • Storage Transfer Agent

   1. Salin dan simpan nama akun layanan yang Anda buat untuk langkah berikutnya.

   2. Buat kunci akun layanan untuk akun yang baru saja Anda buat. Untuk tujuan panduan ini, buat hanya satu kunci. Download file kunci dan simpan untuk langkah berikutnya.

      Catatan: Kunci akun layanan akan berisiko keamanan jika tidak dikelola dengan benar. Anda harus memilih alternatif yang lebih aman untuk kunci akun layanan jika memungkinkan. Jika harus mengautentikasi dengan kunci akun layanan, Anda bertanggung jawab atas keamanan kunci pribadi dan atas operasi lainnya yang dijelaskan oleh Praktik terbaik untuk mengelola kunci akun layanan. Jika Anda tidak dapat membuat kunci akun layanan, pembuatan kunci akun layanan mungkin dinonaktifkan untuk organisasi Anda. Untuk mengetahui informasi selengkapnya, lihat Mengelola resource organisasi yang aman secara default.

6. Menetapkan peran ke akun pengguna. Di halaman IAM, cari akun pengguna Anda dan tetapkan peran berikut:

   • Owner

   • Project IAM Admin

   • Role Administrator

   • Storage Transfer Admin

   • Storage Admin

   Untuk mengetahui informasi selengkapnya, lihat Izin pengguna.

Mengonfigurasi Filestore

1. Buat instance Filestore. Saat membuat instance, terapkan spesifikasi berikut:

   1. Pastikan bucket Cloud Storage, VM klien, dan instance Filestore berada di region yang sama.

   2. Pilih jenis instance regional atau enterprise.

   3. Opsional: Untuk set data yang lebih besar, minta penambahan kuota.

   4. Salin nama instance dan alamat IP, lalu simpan untuk langkah berikutnya.

2. Pasang instance Filestore di komputer klien.

   Panduan ini menjelaskan transfer yang menggunakan empat VM Compute Engine sebagai komputer klien NFS. Anda akan membuat satu akun layanan yang beroperasi atas nama empat komputer klien. Setiap komputer klien akan menginstal tiga agen Storage Transfer Service.

   Catatan: Untuk performa terbaik, pengguna harus menggunakan minimal empat VM Compute Engine untuk skenario ini.

   1. Buat instance VM Compute Engine dengan akses ke layanan Google Cloud lainnya.

      1. Konfigurasi VM dengan spesifikasi berikut:

         1. Saat menentukan lokasi, pastikan bucket Google Cloud, VM klien, dan instance Filestore berada di region yang sama.

         2. Setiap agen Storage Transfer Service memerlukan 4 vCPU dan 8 GB RAM. Untuk performa terbaik, jalankan beberapa agen per VM. Untuk tujuan panduan ini, sediakan instance virtual machine Compute Engine e2-standard-32.

         3. Di bagian Identity and API Access, tentukan hal berikut:

            1. Di menu drop-down Service accounts, pilih akun layanan yang baru saja Anda buat.

   2. Setelah instance VM Compute Engine dibuat, login ke VM menggunakan SSH. Dari halaman Instance VM Compute Engine, cari instance yang Anda buat, lalu klik SSH.

   3. Gunakan editor teks seperti Vim untuk membuat salinan file kunci akun layanan dan menyimpannya secara lokal ke VM untuk sementara. Misalnya, service-account-key.json.

   4. Instal Docker di VM.

   5. gcloud sudah diinstal di instance VM Compute Engine. Dari command line SSH, masukkan perintah berikut untuk memberi otorisasi akun layanan agar dapat menggunakan gcloud:

      gcloud auth activate-service-account ACCOUNT --key-file=KEY_FILE
      

      dengan:

      • ACCOUNT adalah alamat email untuk akun layanan yang Anda buat. Contoh, [e-mail].

      • KEY_FILE adalah jalur lokal relatif ke file kunci yang Anda salin sebelumnya. Contoh, sa-key.json.

   6. Masih dari command line SSH, instal NFS:

      sudo apt-get -y update && sudo apt-get install nfs-common
      

   7. Buat direktori lokal untuk dipetakan ke fileshare Filestore. Saat Anda mengulangi langkah-langkah ini untuk instance VM Compute Engine berikutnya, gunakan nama dan jalur yang sama:

      sudo mkdir -p MY_DIRECTORY
      

      dengan:

      • MY_DIRECTORY adalah nama direktori POSIX lokal untuk instance VM Compute Engine. Contoh, /usr/local/my_dir.

   8. Pasang berbagi file yang terkait dengan instance Filestore dengan menjalankan perintah mount. Anda dapat menggunakan opsi pemasangan NFS. Untuk performa terbaik, lihat rekomendasi pemasangan NFS di Memasang fitur berbagi file di instance VM Compute Engine:

      sudo mount -o rw IP_ADDRESS:/FILE_SHARE MY_DIRECTORY
      

      dengan:

      • IP_ADDRESS adalah alamat IP untuk instance Filestore. Hal ini dapat ditemukan dari halaman Instance Filestore.

      • FILE_SHARE adalah nama file share di instance. Contoh, my_fs_instance.

      • MY_DIRECTORY adalah nama direktori yang Anda petakan di langkah sebelumnya. Ini adalah direktori di instance VM Compute Engine tempat Anda ingin memasang instance Filestore.

   9. Konfirmasi titik pemasangan:

      mount -l | grep nfs
      

      Tindakan ini akan menampilkan hal berikut atau yang serupa:

      10.66.55.194:/my_fs_instance on /home/usr/my_dir type nfs (rw,relatime,vers=3,rsize=262144,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.66.55.194,mountvers=3,mountport=2050,mountproto=udp,local_lock=none,addr=10.66.55.194)
      

      Atau, Anda juga dapat menggunakan perintah berikut:

      df -h --type=nfs
      

      Tindakan ini akan menampilkan hal berikut atau yang serupa:

      Filesystem                       Size  Used Avail Use% Mounted on
      10.66.55.194:/my_fs_instance  1.0T     0  1.0T   0% /home/usr/my_dir
      

   10. Catat jalur direktori POSIX lokal dan simpan untuk langkah berikutnya.

   11. Ulangi langkah-langkah sebelumnya untuk membuat tiga instance VM Compute Engine lagi dan pasang instance Filestore yang sama ke setiap instance. Gunakan akun layanan yang sama untuk mengelola keempat VM Compute Engine. Simpan salinan lokal kunci akun layanan ke setiap VM untuk sementara.

Mengonfigurasi Storage Transfer Service

1. Buat kumpulan agen.

2. Beri otorisasi agen layanan untuk semua fitur Storage Transfer Service.

   1. Masukkan perintah berikut:

      gcloud transfer authorize --add-missing --creds-file=KEY_FILE
      

      dengan:

      • KEY_FILE adalah jalur lokal relatif ke file kunci yang Anda salin sebelumnya. Contoh, sa-key.json.

      Perhatikan notifikasi yang ditampilkan terkait agen layanan dan simpan alamat email terkait untuk langkah berikutnya.

   2. Setelah beberapa menit, Anda akan melihat agen layanan di halaman IAM. Setelah diterapkan, pastikan peran berikut ditetapkan:

      • Pub/Sub Editor

      • Storage Admin

      Catatan: Izin biasanya memerlukan waktu beberapa detik untuk diterapkan, tetapi dalam beberapa kasus, dapat memerlukan waktu hingga tujuh menit.

3. Instal agen transfer.

   Setiap agen Storage Transfer Service memerlukan 4 vCPU dan 8 GB RAM.

   Catatan: Storage Transfer Service mempertahankan atribut POSIX dan symlink selama transfer. Untuk mengetahui informasi selengkapnya, lihat penyimpanan metadata.

   1. Sebaiknya instal beberapa agen untuk memaksimalkan toleransi error dan mengoptimalkan penskalaan dinamis yang ditawarkan oleh Storage Transfer Service. Contoh berikut menunjukkan cara menginstal tiga agen di komputer klien. Dari command line SSH, jalankan perintah berikut:

      gcloud transfer agents install --pool=MY_AGENT_POOL --count=3 \
      --creds-file=MY_SERVICE_ACCOUNT_KEY_FILE
      

      dengan:

      • MY_AGENT_POOL adalah nama kumpulan agen yang sebelumnya Anda buat. Contoh, my-agent-pool.

      • MY_SERVICE_ACCOUNT_KEY_FILE adalah jalur relatif ke kunci akun layanan. Contoh, /relative/path/to/service-account-key.json.

   2. Ulangi langkah-langkah ini untuk setiap komputer klien.

Membuat dan memulai tugas transfer

1. Buat tugas transfer untuk memindahkan data dari bucket Cloud Storage ke instance Filestore. Referensikan direktori POSIX lokal yang Anda simpan sebelumnya untuk menentukan jalur tujuan. Misalnya, /home/usr/my_dir.

Memantau status transfer

Konsol

Pantau status transfer Anda dari halaman Transfer tugas di konsol Google Cloud.

Command line

Anda dapat memantau status menggunakan command line:

gcloud transfer jobs monitor JOB_NAME

dengan:

• JOB_NAME adalah nama tugas transfer Anda. Contoh, transferJobs/OPI6300379522015192941.

Responsnya menampilkan hal berikut atau yang serupa:

Polling for latest operation name...done.
Operation name: my-sts-project_transferJobs/OPI6300379522015192941_0000000001660692377
Parent job: OPI6300379522015192941
Start time: 2022-08-16T23:26:17.600981Z
SUCCESS | 100% (731.9MiB of 731.9MiB) | Skipped: 129.8kiB | Errors: 0
End time: 2022-08-16T23:27:23.429472Z

Untuk mengetahui informasi selengkapnya, lihat Memantau aktivitas agen atau Detail transfer sistem file.

Langkah selanjutnya

• Meningkatkan performa di seluruh resource Google Cloud.
• Buat instance VM Compute Engine dengan akses ke layanan Google Cloud lainnya.