Halaman ini menjelaskan cara membuat cadangan layanan Dataproc Metastore.
Cadangan mengambil snapshot layanan Anda yang menyimpan setelan konfigurasinya saat ini dan semua metadata yang tersimpan.
Setelah membuat cadangan, Anda dapat menggunakan fitur Pulihkan dari cadangan untuk mengisi layanan Dataproc Metastore baru dengan data yang disimpan dalam snapshot.
Sebelum memulai
- Aktifkan Dataproc Metastore di project Anda.
- Buat layanan Metastore Dataproc.
- Opsional: Impor metadata ke Dataproc Metastore.
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan untuk mencadangkan layanan Dataproc Metastore, minta administrator untuk memberi Anda peran IAM berikut:
-
Untuk memberikan kontrol penuh atas resource Dataproc Metastore guna menyelesaikan pencadangan, pilih:
-
Editor Metastore Dataproc (
roles/metastore.editor
) di layanan metadata. -
Administrator Metastore Dataproc (
roles/metastore.admin
) pada project.
-
Editor Metastore Dataproc (
-
Untuk memberikan akses baca dan ubah ke metadata database dan tabel tertentu:
Operator Metadata Metastore Dataproc (
roles/metastore.metadataOperator
) pada layanan metadata -
Untuk menggunakan objek Cloud Storage yang menyimpan cadangan terjadwal:
Cloud Storage Object User (
roles/storage.objectUser
) pada agen layanan Dataproc Metastore
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.
Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk mencadangkan layanan Dataproc Metastore. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:
Izin yang diperlukan
Izin berikut diperlukan untuk mencadangkan layanan Dataproc Metastore:
-
Untuk mencadangkan layanan metadata:
metastore.backups.create
-
Untuk menggunakan objek Cloud Storage:
-
orgpolicy.policy.get
-
resourcemanager.projects.get
-
resourcemanager.projects.list
-
storage.managedFolders.create
-
storage.managedFolders.delete
-
storage.managedFolders.get
-
storage.managedFolders.list
-
storage.multipartUploads.*
-
storage.objects.create
-
storage.objects.delete
-
storage.objects.get
-
storage.objects.list
-
storage.objects.restore
-
storage.objects.update
-
Anda mung juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaanlainnya.
Untuk informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Ringkasan IAM Metastore Dataproc.Pertimbangan pencadangan
Sebelum menjalankan operasi pencadangan, perhatikan pertimbangan berikut:
- Untuk setiap layanan Dataproc Metastore, Anda dapat membuat dan menyimpan hingga tujuh cadangan sekaligus. Jika Anda mencoba melebihi tujuh cadangan, proses pencadangan akan gagal. Jika ingin membuat cadangan lain, Anda harus terlebih dahulu menghapus salah satu file cadangan yang tersimpan secara manual.
- Saat operasi pencadangan sedang berjalan, Anda tidak dapat memperbarui layanan Metastore Dataproc. Misalnya, Anda tidak dapat mengubah setelan konfigurasi. Namun, Anda masih dapat menggunakan layanan untuk operasi normal, seperti mengakses metadata dari Dataproc yang dilampirkan atau cluster yang dikelola sendiri.
- Anda dapat membuat pencadangan terjadwal yang berjalan pada berbagai interval cron, seperti setiap hari.
Buat cadangan
Untuk mencadangkan layanan Dataproc Metastore, selesaikan langkah-langkah di salah satu tab berikut:
Konsol
Di konsol Google Cloud, buka halaman Dataproc Metastore:
Di halaman Dataproc Metastore, klik nama layanan yang ingin Anda cadangkan.
Halaman Detail layanan akan terbuka.
Di bagian atas halaman, klik Cadangan.
Halaman Cadangan akan terbuka.
Masukkan Nama cadangan.
Opsional: Masukkan Deskripsi cadangan.
Untuk memulai operasi pencadangan, klik Pencadangan.
Kembali ke halaman Dataproc Metastore, dan pastikan bahwa layanan Anda berhasil dicadangkan.
Saat pencadangan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pencadangan berhasil atau tidak.
gcloud CLI
Untuk mencadangkan layanan Dataproc Metastore, jalankan perintah
gcloud metastore services backups create
berikut:gcloud metastore services backups create BACKUP \ --location=LOCATION \ --service=SERVICE \ --description=DESCRIPTION
Ganti kode berikut:
BACKUP
: ID atau ID yang sepenuhnya memenuhi syarat untuk cadangan.LOCATION
: region Google Cloud tempat layanan Dataproc Metastore Anda berada.SERVICE
: nama layanan Metastore Dataproc Anda.DESCRIPTION
: deskripsi cadangan Anda.
Verifikasi bahwa layanan Anda berhasil dicadangkan.
Saat pencadangan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pencadangan berhasil atau tidak.
REST
Ikuti petunjuk API untuk mencadangkan metadata dari layanan menggunakan APIs Explorer.
Saat pencadangan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pencadangan berhasil atau tidak.
Lihat histori pencadangan
Untuk melihat histori pencadangan layanan Dataproc Metastore di Konsol Google Cloud, selesaikan langkah-langkah berikut:
- Di konsol konsol Google Cloud, buka halaman Dataproc Metastore.
Di menu navigasi, klik Cadangkan/Pulihkan.
Histori pencadangan Anda akan muncul pada tabel di bagian Cadangan.
Histori menampilkan hingga 7 cadangan terbaru.
Menghapus layanan Dataproc Metastore juga akan menghapus semua histori pencadangan terkait.
Menghapus cadangan
Untuk menghapus cadangan Metastore Dataproc di Konsol Google Cloud, selesaikan langkah-langkah berikut:
- Di konsol Google Cloud, buka halaman Dataproc Metastore.
- Di menu navigasi, klik Cadangkan/Pulihkan.
- Temukan cadangan yang ingin Anda hapus, lalu klik tombol setelan.
- Klik Delete.
Menjadwalkan pencadangan
Pencadangan dapat dijadwalkan agar berjalan pada interval cron job yang ditentukan pengguna, termasuk berjalan setiap hari, mingguan, atau bulanan. Jadwal cron menggunakan format string unix-cron (* * * * *) yang merupakan kumpulan lima kolom dalam satu baris, yang menunjukkan kapan tugas harus dieksekusi.
Misalnya, Anda dapat menetapkan interval khusus untuk membuat pencadangan setiap minggu, seperti membuat pencadangan setiap hari Rabu pukul 14.00 PST.
Pertimbangan pencadangan terjadwal
- Pencadangan terjadwal harus menentukan lokasi pencadangan yang harus berupa jalur Cloud Storage.
- Pencadangan terjadwal selalu dibuat dalam format file Avro.
- Secara default, pencadangan terjadwal dikonfigurasi dalam zona waktu UTC. Anda dapat mengubah zona waktu saat membuat cadangan untuk pertama kalinya.
- Pencadangan terjadwal dapat diatur untuk berjalan pada interval harian, mingguan, atau bulanan.
Membuat pencadangan terjadwal
Jadwal pencadangan dapat disetel saat Anda membuat layanan pertama kali atau ditambahkan nanti saat Anda memperbarui layanan.
Untuk membuat layanan Dataproc Metastore 2 dengan pencadangan terjadwal, selesaikan langkah-langkah di salah satu tab berikut:
Konsol
Di konsol Google Cloud, buka halaman Dataproc Metastore.
Di bagian atas halaman Dataproc Metastore, klik tombol Create.
Halaman Create service akan terbuka.
Pilih Dataproc Metastore 2.
Di bagian Pencadangan Terjadwal, tetapkan tombol ke Aktifkan.
Di bagian Lokasi, pilih lokasi Cloud Storage tempat Anda ingin menyimpan cadangan terjadwal.
Opsional: di bagian jadwal, pilih hal berikut:
- Untuk Repeat, pilih pengulangan, seperti Daily atau Weekly.
- Untuk Pada waktu, pilih waktu pengulangan, misalnya 00.00.
- Untuk Zona Waktu, pilih zona waktu yang sesuai, seperti UTC-8.
Untuk opsi konfigurasi layanan lainnya, gunakan default yang disediakan.
Klik Submit.
gcloud CLI
Untuk menjadwalkan pencadangan layanan Dataproc Metastore, jalankan perintah
gcloud metastore services backups create
berikut:gcloud metastore services create SERVICE \ --location=LOCATION \ --enable-scheduled-backup \ --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \ --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION
Ganti kode berikut:
SERVICE
: ID atau ID yang sepenuhnya memenuhi syarat untuk cadangan.LOCATION
: region Google Cloud tempat layanan Metastore Dataproc berada.SCHEDULED_BACKUP_CRON
: frekuensi pencadangan, yang ditentukan dalam format waktu cron. Misalnya, nilai cron0 0 * * *
menjadwalkan pencadangan harian.SCHEDULED_BACKUP_LOCATION
: lokasi Cloud Storage cadangan Anda. Contoh:gs://my-bucket/path/to/location
.
atau
Anda juga dapat menjadwalkan pencadangan dengan menyimpan nilai sebelumnya dalam file konfigurasi:
gcloud metastore services create SERVICE \ --location=LOCATION \ --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE
Ganti kode berikut:
SCHEDULED_BACKUP_CONFIGS_FROM_FILE
: jalur ke file JSON yang berisi nilai konfigurasi cadanganenabled
,cront_schedule
,time_zone
, danbackup_location
.
Contoh berikut menunjukkan file konfigurasi pencadangan yang mengaktifkan pencadangan terjadwal, menetapkan jadwal pencadangan ke setiap jam, menentukan zona waktu sebagai PST, dan menentukan lokasi pencadangan sebagai bucket Cloud Storage. Anda dapat memilih zona waktu dari daftar zona waktu database tz yang umum.
{ "enabled": true, "cron_schedule": "0 0 * * *", "time_zone": "PST", "backup_location": "gs://my-bucket/path/to/location" }
REST
Ikuti petunjuk API untuk membuat pencadangan terjadwal dengan menggunakan APIs Explorer.
Memperbarui pencadangan terjadwal
Untuk memperbarui layanan Dataproc Metastore 2 yang dikonfigurasi dengan pencadangan terjadwal, selesaikan langkah-langkah di salah satu tab berikut:
Konsol
Di konsol Google Cloud, buka halaman Dataproc Metastore.
Di halaman Dataproc Metastore, klik nama layanan yang ingin Anda jadwalkan pencadangan.
Di bagian Pencadangan Terjadwal, setel tombol ke Aktif.
Di bagian lokasi, pilih lokasi Cloud Storage tempat Anda ingin menyimpan cadangan terjadwal.
Opsional: Di bagian Jadwal, pilih nilai untuk kolom berikut:
- Untuk Repeat, pilih pengulangan, seperti Daily atau Weekly.
- Untuk Pada waktu, pilih waktu pengulangan, misalnya 00.00.
- Untuk Zona Waktu, pilih zona waktu yang sesuai, seperti UTC-8.
gcloud CLI
Untuk menjadwalkan pencadangan layanan Dataproc Metastore, jalankan perintah
gcloud metastore services backups update
berikut:gcloud metastore services update SERVICE \ --location=LOCATION \ --enable-scheduled-backup \ --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \ --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \
Ganti kode berikut:
SERVICE
: ID atau ID yang sepenuhnya memenuhi syarat untuk pencadangan terjadwal.LOCATION
: region Google Cloud tempat layanan Dataproc Metastore Anda berada.SCHEDULED_BACKUP_CRON
: frekuensi pencadangan, yang ditentukan dalam format waktu cron. Misalnya, nilai cron0 0 * * *
menjadwalkan pencadangan harian.SCHEDULED_BACKUP_LOCATION
: lokasi Cloud Storage dari pencadangan terjadwal Anda. Contoh:gs://my-bucket/path/to/location
.
Anda juga dapat memperbarui pencadangan terjadwal menggunakan nilai sebelumnya yang disimpan dalam file konfigurasi:
gcloud metastore services update SERVICE \ --location=LOCATION \ --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE
Ganti kode berikut:
SCHEDULED_BACKUP_CONFIGS_FROM_FILE
: jalur ke file JSON yang berisi konfigurasi cadangan.
Contoh berikut menunjukkan file konfigurasi pencadangan yang menonaktifkan pencadangan terjadwal.
{ "enabled": false, }
REST
Ikuti petunjuk API untuk memperbarui pencadangan terjadwal dengan menggunakan APIs Explorer.
Melihat pencadangan terjadwal
Untuk melihat layanan Dataproc Metastore 2 yang dikonfigurasi dengan pencadangan terjadwal, selesaikan langkah-langkah di salah satu tab berikut:
Konsol
Di konsol Google Cloud, buka halaman Dataproc Metastore.
Di bagian atas halaman, klik Cadangan.
Halaman Pencadangan akan terbuka dan menampilkan cadangan terjadwal Anda. Perhatikan bahwa cadangan sebenarnya disimpan di bucket Cloud Storage yang Anda berikan dalam konfigurasi pencadangan terjadwal.
gcloud CLI
Jalankan perintah
gsutil ls
berikut:gsutil ls gs://BUCKET_NAME/SERVICE/LOCATION
Ganti kode berikut:
BUCKET_NAME
: jalur ke bucket Cloud Storage yang menyimpan pencadangan terjadwal yang ingin Anda lihat.SERVICE
: ID atau ID yang sepenuhnya memenuhi syarat untuk pencadangan terjadwal.LOCATION
: region Google Cloud tempat layanan Metastore Dataproc Anda berada.
REST
Ikuti petunjuk API untuk melihat pencadangan terjadwal dengan menggunakan APIs Explorer.
Memecahkan masalah umum
- Agen layanan atau akun pengguna tidak memiliki izin yang diperlukan.
- Untuk mendapatkan bantuan lebih lanjut dalam menyelesaikan masalah pemecahan masalah umum, lihat Skenario error pencadangan dan pemulihan.
Langkah selanjutnya
- Memulihkan layanan Dataproc Metastore dari cadangan
- Memperbarui dan menghapus layanan Dataproc Metastore