Mencadangkan layanan Dataproc Metastore

Halaman ini menjelaskan cara membuat cadangan layanan Dataproc Metastore.

Pencadangan mengambil snapshot layanan Anda dan menyimpan setelan konfigurasinya saat ini serta semua metadata yang disimpan.

Setelah membuat cadangan, Anda dapat menggunakan fitur Pulihkan dari cadangan untuk mengisi layanan Dataproc Metastore baru dengan data yang disimpan dalam snapshot.

Sebelum memulai

• Aktifkan Metastore Dataproc di project Anda.
• Buat layanan Dataproc Metastore.
• Opsional: Impor metadata ke Dataproc Metastore.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna mencadangkan layanan Metastore Dataproc, minta administrator untuk memberi Anda peran IAM berikut:

• Untuk memberikan kontrol penuh atas resource Dataproc Metastore guna menyelesaikan pencadangan, baik:
  • Dataproc Metastore Editor (roles/metastore.editor) di layanan metadata.
  • Dataproc Metastore Administrator (roles/metastore.admin) di project.
• Untuk memberikan akses baca dan ubah ke metadata database dan tabel tertentu: Dataproc Metastore Metadata Operator (roles/metastore.metadataOperator) di layanan metadata
• Untuk menggunakan objek Cloud Storage yang menyimpan pencadangan terjadwal: Cloud Storage Object User (roles/storage.objectUser) di agen layanan Dataproc Metastore

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mencadangkan layanan Metastore Dataproc. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mencadangkan layanan Dataproc Metastore:

• Untuk mencadangkan layanan metadata: metastore.backups.create
• Untuk menggunakan objek Cloud Storage:
  • orgpolicy.policy.get
  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • storage.managedFolders.create
  • storage.managedFolders.delete
  • storage.managedFolders.get
  • storage.managedFolders.list
  • storage.multipartUploads.*
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.get
  • storage.objects.list
  • storage.objects.restore
  • storage.objects.update

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Ringkasan IAM Dataproc Metastore.

Pertimbangan pencadangan

Sebelum menjalankan operasi pencadangan, perhatikan pertimbangan berikut:

• Untuk setiap layanan Dataproc Metastore, Anda dapat membuat dan menyimpan hingga tujuh cadangan sekaligus. Jika Anda mencoba melebihi tujuh cadangan, proses pencadangan akan gagal. Jika ingin membuat cadangan lain, Anda harus menghapus salah satu file cadangan yang disimpan secara manual terlebih dahulu.
• Saat operasi pencadangan berjalan, Anda tidak dapat memperbarui layanan Dataproc Metastore — misalnya, Anda tidak dapat mengubah setelan konfigurasi. Namun, Anda tetap dapat menggunakan layanan untuk operasi normal, seperti mengakses metadata dari Dataproc yang terpasang atau cluster yang dikelola sendiri.
• Anda dapat membuat pencadangan terjadwal yang berjalan pada berbagai interval cron, seperti setiap hari.

Membuat cadangan

Untuk mencadangkan layanan Dataproc Metastore, selesaikan langkah-langkah di salah satu tab berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Dataproc Metastore:

   Membuka Dataproc Metastore

2. Di halaman Dataproc Metastore, klik nama layanan yang ingin Anda cadangkan.

   Halaman Detail layanan akan terbuka.

   

   Gambar 1. Halaman detail layanan Dataproc Metastore

3. Di bagian atas halaman, klik Pencadangan.

   Halaman Pencadangan akan terbuka.

4. Masukkan Nama cadangan.

5. Opsional: Masukkan Deskripsi pencadangan.

6. Untuk memulai operasi pencadangan, klik Pencadangan.

   Kembali ke halaman Dataproc Metastore, dan verifikasi bahwa layanan Anda berhasil dicadangkan.

   Setelah pencadangan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pencadangan berhasil atau tidak.

gcloud CLI

1. Untuk mencadangkan layanan Dataproc Metastore, jalankan perintah gcloud metastore services backups create berikut:

   gcloud metastore services backups create BACKUP \
       --location=LOCATION \
       --service=SERVICE \
       --description=DESCRIPTION
   

   Ganti kode berikut:

   • BACKUP: ID atau ID yang sepenuhnya memenuhi syarat untuk pencadangan.
   • LOCATION: region Google Cloud tempat layanan Dataproc Metastore Anda berada.
   • SERVICE: nama layanan Metastore Dataproc Anda.
   • DESCRIPTION: deskripsi cadangan Anda.

2. Pastikan bahwa layanan Anda berhasil dicadangkan.

   Setelah pencadangan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pencadangan berhasil atau tidak.

REST

Ikuti petunjuk API untuk membuat cadangan metadata dari layanan menggunakan API Explorer.

Setelah pencadangan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pencadangan berhasil atau tidak.

Melihat histori pencadangan

Untuk melihat histori pencadangan layanan Dataproc Metastore di konsol Google Cloud, selesaikan langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

2. Di menu navigasi, klik Pencadangan/Pemulihan.

   Histori pencadangan Anda akan muncul dalam tabel di bagian Cadangan.

   Histori menampilkan hingga 7 cadangan terbaru.

   Menghapus layanan Dataproc Metastore juga akan menghapus semua histori pencadangan terkait.

Menghapus cadangan

Untuk menghapus cadangan Metastore Dataproc di konsol Google Cloud, selesaikan langkah-langkah berikut:

1. Di konsol Google Cloud, buka halaman Dataproc Metastore.
2. Di menu navigasi, klik Pencadangan/Pemulihan.
3. Temukan cadangan yang ingin dihapus, lalu klik tombol setelan.
4. Klik Hapus.

Menjadwalkan pencadangan

Pencadangan dapat dijadwalkan untuk berjalan pada interval tugas cron yang ditentukan pengguna, termasuk berjalan setiap hari, mingguan, atau bulanan. Jadwal cron menggunakan format string unix-cron (* * * * *) yang merupakan kumpulan lima kolom dalam satu baris, yang menunjukkan kapan tugas harus dijalankan.

Misalnya, Anda dapat menetapkan interval kustom untuk membuat cadangan setiap minggu, seperti membuat cadangan setiap hari Rabu pukul 14.00 PST.

Pertimbangan pencadangan terjadwal

• Pencadangan terjadwal harus menentukan lokasi pencadangan, yang harus berupa jalur Cloud Storage.
• Cadangan terjadwal selalu dibuat dalam format file Avro.
• Pencadangan terjadwal dikonfigurasi di zona waktu UTC secara default. Anda dapat mengubah zona waktu saat membuat cadangan untuk pertama kalinya.
• Pencadangan terjadwal dapat disetel untuk berjalan pada interval per jam, harian, mingguan, atau bulanan. Interval per jam minimum yang dapat Anda tetapkan adalah 4 jam.

Membuat pencadangan terjadwal

Jadwal pencadangan dapat ditetapkan saat Anda membuat layanan untuk pertama kalinya atau ditambahkan nanti saat Anda mengupdate layanan.

Untuk membuat layanan Dataproc Metastore 2 dengan pencadangan terjadwal, selesaikan langkah-langkah di salah satu tab berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

2. Di bagian atas halaman Dataproc Metastore, klik tombol Create.

   Halaman Buat layanan akan terbuka.

3. Pilih Dataproc Metastore 2.

4. Di bagian Pencadangan Terjadwal, setel tombol ke Aktifkan.

5. Di bagian Lokasi, pilih lokasi Cloud Storage tempat Anda ingin menyimpan cadangan terjadwal.

6. Opsional: di bagian jadwal, pilih hal berikut:

   1. Untuk Ulangi, pilih pengulangan, seperti Harian atau Mingguan.
   2. Untuk Pada waktu, pilih waktu pengulangan, seperti pukul 00.00.
   3. Untuk Zona waktu, pilih zona waktu yang sesuai, seperti UTC-8.

7. Untuk opsi konfigurasi layanan lainnya, gunakan default yang disediakan.

8. Klik Kirim.

gcloud CLI

1. Untuk menjadwalkan pencadangan layanan Dataproc Metastore, jalankan perintah gcloud metastore services backups create berikut:

   gcloud metastore services create SERVICE \
      --location=LOCATION \
      --enable-scheduled-backup \
      --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
      --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION
   

   Ganti kode berikut:

   • SERVICE: ID atau ID yang sepenuhnya memenuhi syarat untuk pencadangan.
   • LOCATION: region Google Cloud tempat layanan Metastore Dataproc Anda berada.
   • SCHEDULED_BACKUP_CRON: frekuensi pencadangan Anda, yang ditentukan dalam format waktu cron. Misalnya, nilai cron 0 0 * * * menjadwalkan pencadangan harian.
   • SCHEDULED_BACKUP_LOCATION: Lokasi Cloud Storage cadangan Anda. Contoh: gs://my-bucket/path/to/location.

   atau

   Anda juga dapat menjadwalkan pencadangan dengan menyimpan nilai sebelumnya dalam file konfigurasi:

   gcloud metastore services create SERVICE \
      --location=LOCATION \
      --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE
   

   Ganti kode berikut:

   • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: jalur ke file JSON yang berisi nilai konfigurasi pencadangan enabled, cront_schedule, time_zone, dan backup_location.

   Contoh berikut menunjukkan file konfigurasi pencadangan yang mengaktifkan pencadangan terjadwal, menetapkan jadwal pencadangan ke setiap jam, menentukan zona waktu sebagai PST, dan menentukan lokasi pencadangan sebagai bucket Cloud Storage. Anda dapat memilih zona waktu dari daftar zona waktu database tz umum.

   {
   "enabled": true,
   "cron_schedule": "0 0 * * *",
   "time_zone": "PST",
   "backup_location": "gs://my-bucket/path/to/location"
   }
   

REST

Ikuti petunjuk API untuk membuat pencadangan terjadwal menggunakan API Explorer.

Memperbarui pencadangan terjadwal

Untuk mengupdate layanan Dataproc Metastore 2 yang dikonfigurasi dengan cadangan terjadwal, selesaikan langkah-langkah di salah satu tab berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

2. Di halaman Dataproc Metastore, klik nama layanan yang ingin Anda jadwalkan cadangannya.

3. Di bagian Pencadangan Terjadwal, setel tombol ke Aktif.

4. Di bagian location, pilih lokasi Cloud Storage tempat Anda ingin menyimpan cadangan terjadwal.

5. Opsional: Di bagian Jadwal, pilih nilai untuk kolom berikut:

   1. Untuk Ulangi, pilih pengulangan, seperti Harian atau Mingguan.
   2. Untuk Pada waktu, pilih waktu pengulangan, seperti pukul 00.00.
   3. Untuk Zona waktu, pilih zona waktu yang sesuai, seperti UTC-8.

gcloud CLI

1. Untuk menjadwalkan pencadangan layanan Dataproc Metastore, jalankan perintah gcloud metastore services backups update berikut:

   gcloud metastore services update SERVICE \
      --location=LOCATION \
      --enable-scheduled-backup \
      --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
      --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \
   

   Ganti kode berikut:

   • SERVICE: ID atau ID yang sepenuhnya memenuhi syarat untuk pencadangan terjadwal.
   • LOCATION: region Google Cloud tempat layanan Dataproc Metastore Anda berada.
   • SCHEDULED_BACKUP_CRON: frekuensi pencadangan Anda, yang ditentukan dalam format waktu cron. Misalnya, nilai cron 0 0 * * * menjadwalkan pencadangan harian.
   • SCHEDULED_BACKUP_LOCATION: lokasi Cloud Storage pencadangan terjadwal Anda. Contoh: gs://my-bucket/path/to/location.

   Anda juga dapat memperbarui pencadangan terjadwal menggunakan nilai sebelumnya yang disimpan dalam file konfigurasi:

   gcloud metastore services update SERVICE \
      --location=LOCATION \
      --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE
   

   Ganti kode berikut:

   • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: jalur ke file JSON yang berisi konfigurasi pencadangan.

   Contoh berikut menunjukkan file konfigurasi pencadangan yang menonaktifkan pencadangan terjadwal.

   {
   "enabled": false,
   }
   

REST

Ikuti petunjuk API untuk memperbarui pencadangan terjadwal menggunakan API Explorer.

Melihat pencadangan terjadwal

Untuk melihat layanan Dataproc Metastore 2 yang dikonfigurasi dengan pencadangan terjadwal, selesaikan langkah-langkah di salah satu tab berikut:

Konsol

1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

2. Di bagian atas halaman, klik Pencadangan.

   Halaman Pencadangan akan terbuka dan menampilkan pencadangan terjadwal Anda. Perhatikan bahwa cadangan sebenarnya disimpan di bucket Cloud Storage yang Anda berikan dalam konfigurasi pencadangan terjadwal.

gcloud CLI

1. Jalankan perintah gcloud storage ls berikut:

   gcloud storage ls gs://BUCKET_NAME/SERVICE/LOCATION
   

   Ganti kode berikut:

   • BUCKET_NAME: jalur ke bucket Cloud Storage yang menyimpan cadangan terjadwal yang ingin Anda lihat.
   • SERVICE: ID atau ID yang sepenuhnya memenuhi syarat untuk pencadangan terjadwal.
   • LOCATION: region Google Cloud tempat layanan Dataproc Metastore Anda berada.

REST

Ikuti petunjuk API untuk melihat pencadangan terjadwal menggunakan API Explorer.

Memecahkan masalah umum

• Agen layanan atau akun pengguna tidak memiliki izin yang diperlukan.
• Untuk mendapatkan bantuan lebih lanjut dalam memecahkan masalah pemecahan masalah umum, lihat Skenario error pencadangan dan pemulihan.

Langkah selanjutnya

• Memulihkan layanan Dataproc Metastore dari cadangan
• Memperbarui dan menghapus layanan Dataproc Metastore