Halaman ini menjelaskan cara memulihkan layanan Dataproc Metastore dari cadangan.
Cadangan adalah snapshot dari setelan konfigurasi dan metadata yang disimpan di layanan Dataproc Metastore. Anda dapat menggunakan fitur pemulihan untuk menyiapkan layanan Metastore Dataproc baru dengan cepat dengan data yang sebelumnya disimpan dalam cadangan.
Sebelum memulai
- Aktifkan Dataproc Metastore di project Anda.
- Buat layanan Metastore Dataproc.
- Cadangkan layanan Dataproc Metastore.
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan untuk memulihkan layanan Dataproc Metastore dari cadangan, minta administrator untuk memberi Anda peran IAM berikut:
-
Untuk memberikan kontrol penuh atas resource Dataproc Metastore guna menyelesaikan pencadangan, pilih:
-
Editor Metastore Dataproc (
roles/metastore.editor
) di layanan metadata. -
Administrator Metastore Dataproc (
roles/metastore.admin
) pada project.
-
Editor Metastore Dataproc (
-
Untuk menggunakan objek Cloud Storage yang menyimpan cadangan terjadwal:
Cloud Storage Object User (
roles/storage.objectUser
) pada agen layanan Dataproc Metastore
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.
Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk memulihkan layanan Dataproc Metastore dari cadangan. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:
Izin yang diperlukan
Izin berikut diperlukan untuk memulihkan layanan Dataproc Metastore dari cadangan:
-
Untuk memulihkan layanan metadata:
metastore.services.restore, metastore.backups.use
-
Untuk menggunakan objek Cloud Storage:
-
orgpolicy.policy.get
-
resourcemanager.projects.get
-
resourcemanager.projects.list
-
storage.managedFolders.create
-
storage.managedFolders.delete
-
storage.managedFolders.get
-
storage.managedFolders.list
-
storage.multipartUploads.*
-
storage.objects.create
-
storage.objects.delete
-
storage.objects.get
-
storage.objects.list
-
storage.objects.restore
-
storage.objects.update
-
Anda mung juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaanlainnya.
Untuk informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Ringkasan IAM Metastore Dataproc.Tentang pemulihan dari cadangan
Saat memulihkan layanan dari cadangan, Anda dapat memilih salah satu opsi berikut:
- Pulihkan semua metadata dan setelan konfigurasi yang tersimpan di cadangan.
Pulihkan semua metadata, tetapi jangan pulihkan setelan konfigurasi yang disimpan di cadangan. Sebagai gantinya, layanan Anda akan mempertahankan setelan konfigurasi saat ini.
Setelan konfigurasi mencakup parameter Dataproc Metastore seperti nama layanan, nomor port, dan setelan jaringan. Metadata mencakup semua informasi database dan tabel yang disimpan di layanan Metastore Dataproc.
Pertimbangan
Saat operasi pemulihan sedang berjalan, Anda tidak dapat mengupdate layanan — misalnya, Anda tidak dapat mengubah setelan konfigurasi. Namun, Anda masih dapat menggunakan layanan untuk operasi normal, seperti menggunakannya untuk mengakses metadatanya dari Dataproc yang dilampirkan atau cluster yang dikelola sendiri.
Label Metastore Dataproc tidak dipulihkan.
Data yang disimpan di direktori warehouse tidak dipulihkan.
Memulihkan dari cadangan tidak memulihkan atau mengganti kebijakan IAM yang terperinci.
Untuk memulihkan dari cadangan terjadwal, cadangan Anda harus berada di bucket Cloud Storage.
Memulihkan dari cadangan
Untuk memulihkan layanan Dataproc Metastore dari cadangan, selesaikan langkah-langkah berikut.
Jika menggunakan konsol Google Cloud, Anda hanya dapat memulihkan metadata dari cadangan yang dibuat di project dan region yang sama dengan layanan baru Anda.
Jika menggunakan Google Cloud CLI atau Dataproc Metastore API, Anda dapat memulihkan metadata dari cadangan yang dibuat di project dan region yang berbeda (pencadangan lintas-layanan).
Konsol
Di konsol Google Cloud, buka halaman Dataproc Metastore:
Di halaman Dataproc Metastore, klik nama layanan yang ingin Anda pulihkan dari cadangan.
Halaman Detail layanan akan terbuka.
Untuk melihat cadangan, klik tab Pencadangan/Pemulihan.
Pilih cadangan yang ingin Anda gunakan. Untuk melakukannya, klik ikon menu
, lalu pilih Restore.Halaman Restore akan terbuka.
Anda juga dapat memulihkan layanan di halaman Detail cadangan. Untuk melakukannya, klik nama cadangan, lalu klik Pulihkan.
Pilih operasi pemulihan yang sesuai:
- Pulihkan data metastore. Memulihkan semua metadata, tetapi tidak memulihkan pengaturan konfigurasi yang tersimpan di penyimpanan
- Pulihkan data metastore dan konfigurasi layanan. Memulihkan semua metadata dan semua setelan konfigurasi yang disimpan di cadangan.
Untuk memperbarui layanan, klik Pulihkan.
Kembali ke halaman Dataproc Metastore, dan pastikan bahwa layanan Anda berhasil dicadangkan.
Saat pemulihan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pemulihan berhasil atau tidak.
gcloud CLI
Untuk memulihkan layanan Dataproc Metastore, jalankan perintah
gcloud metastore services restore
berikut:gcloud metastore services restore SERVICE \ --project=PROJECT_ID \ --location=LOCATION \ --backup=BACKUP \ --restore-type=RESTORE_TYPE \ --backup-location=BACKUP_LOCATION
Ganti kode berikut:
SERVICE
: nama layanan Metastore Dataproc Anda.PROJECT_ID
: project ID untuk project Google Cloud tempat layanan Dataproc Metastore Anda berada.LOCATION
: region Google Cloud tempat layanan Metastore Dataproc Anda berada.BACKUP
: Opsional: ID file cadangan yang Anda pulihkan. Nilai ini dapat berupa ID cadangan, URL yang sepenuhnya memenuhi syarat, atau nama relatif dalam format berikut:projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}
.RESTORE_TYPE
: jenis operasi pemulihan yang akan dilakukan. Nilai yang diterima mencakupmetadata-only
ataufull
. Nilai defaultnya adalahmetadata-only
.BACKUP_LOCATION
: Opsional: Lokasi Cloud Storage pencadangan terjadwal Anda. Contoh:gs://my-bucket/path/to/location
.
Pastikan operasi pemulihan berhasil.
Saat pemulihan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pemulihan berhasil atau tidak.
REST
Ikuti petunjuk API untuk memulihkan metadata ke dalam layanan menggunakan APIs Explorer.
Saat pemulihan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pemulihan berhasil atau tidak.
Lihat histori pemulihan
Untuk melihat histori pemulihan layanan Dataproc Metastore di konsol Google Cloud, selesaikan langkah-langkah berikut:
- Di konsol konsol Google Cloud, buka halaman Dataproc Metastore.
Di menu navigasi, klik Cadangkan/Pulihkan.
Histori pemulihan Anda akan muncul dalam tabel di bagian Pulihkan.
Histori menampilkan hingga 25 pemulihan terbaru yang telah Anda selesaikan.
Menghapus layanan Dataproc Metastore juga akan menghapus semua histori pemulihan terkait.
Memecahkan masalah umum
- Agen layanan atau akun pengguna tidak memiliki izin yang diperlukan.
- Untuk mendapatkan bantuan lebih lanjut dalam menyelesaikan masalah pemecahan masalah umum, lihat Skenario error pencadangan dan pemulihan.