Mencadangkan layanan Dataproc Metastore

Halaman ini menjelaskan cara membuat cadangan layanan Dataproc Metastore.

Cadangan mengambil snapshot layanan Anda yang menyimpan setelan konfigurasinya saat ini dan semua metadata yang tersimpan.

Setelah membuat cadangan, Anda dapat menggunakan fitur Pulihkan dari cadangan untuk mengisi layanan Dataproc Metastore baru dengan data yang disimpan dalam snapshot.

Sebelum memulai

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk mencadangkan layanan Dataproc Metastore, minta administrator untuk memberi Anda peran IAM berikut:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk mencadangkan layanan Dataproc Metastore. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mencadangkan layanan Dataproc Metastore:

  • Untuk mencadangkan layanan metadata: metastore.backups.create
  • Untuk menggunakan objek Cloud Storage:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

Anda mung juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaanlainnya.

Untuk informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Ringkasan IAM Metastore Dataproc.

Pertimbangan pencadangan

Sebelum menjalankan operasi pencadangan, perhatikan pertimbangan berikut:

  • Untuk setiap layanan Dataproc Metastore, Anda dapat membuat dan menyimpan hingga tujuh cadangan sekaligus. Jika Anda mencoba melebihi tujuh cadangan, proses pencadangan akan gagal. Jika ingin membuat cadangan lain, Anda harus terlebih dahulu menghapus salah satu file cadangan yang tersimpan secara manual.
  • Saat operasi pencadangan sedang berjalan, Anda tidak dapat memperbarui layanan Metastore Dataproc. Misalnya, Anda tidak dapat mengubah setelan konfigurasi. Namun, Anda masih dapat menggunakan layanan untuk operasi normal, seperti mengakses metadata dari Dataproc yang dilampirkan atau cluster yang dikelola sendiri.
  • Anda dapat membuat pencadangan terjadwal yang berjalan pada berbagai interval cron, seperti setiap hari.

Buat cadangan

Untuk mencadangkan layanan Dataproc Metastore, selesaikan langkah-langkah di salah satu tab berikut:

Konsol

  1. Di konsol Google Cloud, buka halaman Dataproc Metastore:

    Buka Metastore Dataproc

  2. Di halaman Dataproc Metastore, klik nama layanan yang ingin Anda cadangkan.

    Halaman Detail layanan akan terbuka.

    Halaman detail layanan
    Gambar 1. Halaman detail layanan Dataproc Metastore

  3. Di bagian atas halaman, klik Cadangan.

    Halaman Cadangan akan terbuka.

  4. Masukkan Nama cadangan.

  5. Opsional: Masukkan Deskripsi cadangan.

  6. Untuk memulai operasi pencadangan, klik Pencadangan.

    Kembali ke halaman Dataproc Metastore, dan pastikan bahwa layanan Anda berhasil dicadangkan.

    Saat pencadangan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pencadangan berhasil atau tidak.

gcloud CLI

  1. Untuk mencadangkan layanan Dataproc Metastore, jalankan perintah gcloud metastore services backups create berikut:

    gcloud metastore services backups create BACKUP \
    --location=LOCATION \
    --service=SERVICE \
    --description=DESCRIPTION

    Ganti kode berikut:

    • BACKUP: ID atau ID yang sepenuhnya memenuhi syarat untuk cadangan.
    • LOCATION: region Google Cloud tempat layanan Dataproc Metastore Anda berada.
    • SERVICE: nama layanan Metastore Dataproc Anda.
    • DESCRIPTION: deskripsi cadangan Anda.

  2. Verifikasi bahwa layanan Anda berhasil dicadangkan.

    Saat pencadangan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pencadangan berhasil atau tidak.

REST

Ikuti petunjuk API untuk mencadangkan metadata dari layanan menggunakan APIs Explorer.

Saat pencadangan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pencadangan berhasil atau tidak.

Lihat histori pencadangan

Untuk melihat histori pencadangan layanan Dataproc Metastore di Konsol Google Cloud, selesaikan langkah-langkah berikut:

  1. Di konsol konsol Google Cloud, buka halaman Dataproc Metastore.

  2. Di menu navigasi, klik Cadangkan/Pulihkan.

    Histori pencadangan Anda akan muncul pada tabel di bagian Cadangan.

    Histori menampilkan hingga 7 cadangan terbaru.

    Menghapus layanan Dataproc Metastore juga akan menghapus semua histori pencadangan terkait.

Menghapus cadangan

Untuk menghapus cadangan Metastore Dataproc di Konsol Google Cloud, selesaikan langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Dataproc Metastore.
  2. Di menu navigasi, klik Cadangkan/Pulihkan.
  3. Temukan cadangan yang ingin Anda hapus, lalu klik tombol setelan.
  4. Klik Delete.

Menjadwalkan pencadangan

Pencadangan dapat dijadwalkan agar berjalan pada interval cron job yang ditentukan pengguna, termasuk berjalan setiap hari, mingguan, atau bulanan. Jadwal cron menggunakan format string unix-cron (* * * * *) yang merupakan kumpulan lima kolom dalam satu baris, yang menunjukkan kapan tugas harus dieksekusi.

Misalnya, Anda dapat menetapkan interval khusus untuk membuat pencadangan setiap minggu, seperti membuat pencadangan setiap hari Rabu pukul 14.00 PST.

Pertimbangan pencadangan terjadwal

  • Pencadangan terjadwal harus menentukan lokasi pencadangan yang harus berupa jalur Cloud Storage.
  • Pencadangan terjadwal selalu dibuat dalam format file Avro.
  • Secara default, pencadangan terjadwal dikonfigurasi dalam zona waktu UTC. Anda dapat mengubah zona waktu saat membuat cadangan untuk pertama kalinya.
  • Pencadangan terjadwal dapat diatur untuk berjalan pada interval harian, mingguan, atau bulanan.

Membuat pencadangan terjadwal

Jadwal pencadangan dapat disetel saat Anda membuat layanan pertama kali atau ditambahkan nanti saat Anda memperbarui layanan.

Untuk membuat layanan Dataproc Metastore 2 dengan pencadangan terjadwal, selesaikan langkah-langkah di salah satu tab berikut:

Konsol

  1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

  2. Di bagian atas halaman Dataproc Metastore, klik tombol Create.

    Halaman Create service akan terbuka.

  3. Pilih Dataproc Metastore 2.

  4. Di bagian Pencadangan Terjadwal, tetapkan tombol ke Aktifkan.

  5. Di bagian Lokasi, pilih lokasi Cloud Storage tempat Anda ingin menyimpan cadangan terjadwal.

  6. Opsional: di bagian jadwal, pilih hal berikut:

    1. Untuk Repeat, pilih pengulangan, seperti Daily atau Weekly.
    2. Untuk Pada waktu, pilih waktu pengulangan, misalnya 00.00.
    3. Untuk Zona Waktu, pilih zona waktu yang sesuai, seperti UTC-8.

  7. Untuk opsi konfigurasi layanan lainnya, gunakan default yang disediakan.

  8. Klik Submit.

gcloud CLI

  1. Untuk menjadwalkan pencadangan layanan Dataproc Metastore, jalankan perintah gcloud metastore services backups create berikut:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION

    Ganti kode berikut:

    • SERVICE: ID atau ID yang sepenuhnya memenuhi syarat untuk cadangan.
    • LOCATION: region Google Cloud tempat layanan Metastore Dataproc berada.
    • SCHEDULED_BACKUP_CRON: frekuensi pencadangan, yang ditentukan dalam format waktu cron. Misalnya, nilai cron 0 0 * * * menjadwalkan pencadangan harian.
    • SCHEDULED_BACKUP_LOCATION: lokasi Cloud Storage cadangan Anda. Contoh: gs://my-bucket/path/to/location.

    atau

    Anda juga dapat menjadwalkan pencadangan dengan menyimpan nilai sebelumnya dalam file konfigurasi:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Ganti kode berikut:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: jalur ke file JSON yang berisi nilai konfigurasi cadangan enabled, cront_schedule, time_zone, dan backup_location.

    Contoh berikut menunjukkan file konfigurasi pencadangan yang mengaktifkan pencadangan terjadwal, menetapkan jadwal pencadangan ke setiap jam, menentukan zona waktu sebagai PST, dan menentukan lokasi pencadangan sebagai bucket Cloud Storage. Anda dapat memilih zona waktu dari daftar zona waktu database tz yang umum.

    {
"enabled": true,
"cron_schedule": "0 0 * * *",
"time_zone": "PST",
"backup_location": "gs://my-bucket/path/to/location"
}

REST

Ikuti petunjuk API untuk membuat pencadangan terjadwal dengan menggunakan APIs Explorer.

Memperbarui pencadangan terjadwal

Untuk memperbarui layanan Dataproc Metastore 2 yang dikonfigurasi dengan pencadangan terjadwal, selesaikan langkah-langkah di salah satu tab berikut:

Konsol

  1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

  2. Di halaman Dataproc Metastore, klik nama layanan yang ingin Anda jadwalkan pencadangan.

  3. Di bagian Pencadangan Terjadwal, setel tombol ke Aktif.

  4. Di bagian lokasi, pilih lokasi Cloud Storage tempat Anda ingin menyimpan cadangan terjadwal.

  5. Opsional: Di bagian Jadwal, pilih nilai untuk kolom berikut:

    1. Untuk Repeat, pilih pengulangan, seperti Daily atau Weekly.
    2. Untuk Pada waktu, pilih waktu pengulangan, misalnya 00.00.
    3. Untuk Zona Waktu, pilih zona waktu yang sesuai, seperti UTC-8.

gcloud CLI

  1. Untuk menjadwalkan pencadangan layanan Dataproc Metastore, jalankan perintah gcloud metastore services backups update berikut:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \

    Ganti kode berikut:

    • SERVICE: ID atau ID yang sepenuhnya memenuhi syarat untuk pencadangan terjadwal.
    • LOCATION: region Google Cloud tempat layanan Dataproc Metastore Anda berada.
    • SCHEDULED_BACKUP_CRON: frekuensi pencadangan, yang ditentukan dalam format waktu cron. Misalnya, nilai cron 0 0 * * * menjadwalkan pencadangan harian.
    • SCHEDULED_BACKUP_LOCATION: lokasi Cloud Storage dari pencadangan terjadwal Anda. Contoh: gs://my-bucket/path/to/location.

    Anda juga dapat memperbarui pencadangan terjadwal menggunakan nilai sebelumnya yang disimpan dalam file konfigurasi:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Ganti kode berikut:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: jalur ke file JSON yang berisi konfigurasi cadangan.

    Contoh berikut menunjukkan file konfigurasi pencadangan yang menonaktifkan pencadangan terjadwal.

    {
"enabled": false,
}

REST

Ikuti petunjuk API untuk memperbarui pencadangan terjadwal dengan menggunakan APIs Explorer.

Melihat pencadangan terjadwal

Untuk melihat layanan Dataproc Metastore 2 yang dikonfigurasi dengan pencadangan terjadwal, selesaikan langkah-langkah di salah satu tab berikut:

Konsol

  1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

  2. Di bagian atas halaman, klik Cadangan.

    Halaman Pencadangan akan terbuka dan menampilkan cadangan terjadwal Anda. Perhatikan bahwa cadangan sebenarnya disimpan di bucket Cloud Storage yang Anda berikan dalam konfigurasi pencadangan terjadwal.

gcloud CLI

  1. Jalankan perintah gsutil ls berikut:

    gsutil ls gs://BUCKET_NAME/SERVICE/LOCATION

    Ganti kode berikut:

    • BUCKET_NAME: jalur ke bucket Cloud Storage yang menyimpan pencadangan terjadwal yang ingin Anda lihat.
    • SERVICE: ID atau ID yang sepenuhnya memenuhi syarat untuk pencadangan terjadwal.
    • LOCATION: region Google Cloud tempat layanan Metastore Dataproc Anda berada.

REST

Ikuti petunjuk API untuk melihat pencadangan terjadwal dengan menggunakan APIs Explorer.

Memecahkan masalah umum

Langkah selanjutnya