Mengekspor metadata dari Dataproc Metastore

Halaman ini menjelaskan cara mengekspor metadata dari Dataproc Metastore.

Fitur metadata ekspor memungkinkan Anda menyimpan metadata dalam format penyimpanan portabel.

Setelah mengekspor data, Anda dapat mengimpor metadata ke layanan Dataproc Metastore lain atau Hive Metastore (HMS) yang dikelola sendiri.

Tentang mengekspor metadata

Saat Anda mengekspor metadata dari Dataproc Metastore, layanan ini akan menyimpan data dalam salah satu format file berikut:

  • Serangkaian file Avro yang disimpan dalam sebuah folder.
  • Satu file dump MySQL yang disimpan di folder Cloud Storage.

Avro

Ekspor berbasis Avro hanya didukung untuk Hive versi 2.3.6 dan 3.1.2. Saat Anda mengekspor file Avro, Dataproc Metastore akan membuat file <table-name>.avro untuk setiap tabel di database Anda.

Untuk mengekspor file Avro, layanan Dataproc Metastore dapat menggunakan jenis database MySQL atau Spanner.

MySQL

Ekspor berbasis MySQL didukung untuk semua versi Hive. Saat Anda mengekspor file MySQL, Dataproc Metastore akan membuat satu file SQL yang berisi semua informasi tabel Anda.

Untuk mengekspor file MySQL, layanan Dataproc Metastore Anda harus menggunakan jenis database MySQL. Jenis database Spanner tidak mendukung impor MySQL.

Sebelum memulai

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk mengekspor metadata ke Dataproc Metastore, minta administrator untuk memberi Anda peran IAM berikut:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk mengekspor metadata ke Dataproc Metastore. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mengekspor metadata ke Dataproc Metastore:

  • Untuk mengekspor metadata: metastore.services.export di layanan metastore
  • Untuk MySQL dan Avro, agar dapat menggunakan objek Cloud Storage untuk diekspor, berikan akun pengguna Anda dan agen layanan Dataproc Metastore: storage.objects.create pada bucket Cloud Storage

Anda mung juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaanlainnya.

Untuk informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Ringkasan IAM Dataproc Metastore.

Ekspor metadata

Sebelum mengekspor metadata, perhatikan pertimbangan berikut:

  • Saat ekspor sedang berjalan, Anda tidak dapat memperbarui layanan Dataproc Metastore, misalnya mengubah setelan konfigurasi. Namun, Anda tetap dapat menggunakannya untuk operasi normal, seperti menggunakannya untuk mengakses metadatanya dari Dataproc yang terpasang atau cluster yang dikelola sendiri.
  • Fitur ekspor metadata hanya mengekspor metadata. Data yang dibuat oleh Apache Hive di tabel internal tidak direplikasi dalam ekspor.

Untuk mengekspor metadata dari layanan Dataproc Metastore, lakukan langkah-langkah berikut.

Konsol

  1. Di konsol Google Cloud, buka halaman Dataproc Metastore:

    Buka Dataproc Metastore

  2. Di halaman Dataproc Metastore, klik nama layanan tempat Anda ingin mengekspor metadata.

    Halaman Detail layanan akan terbuka.

    Halaman detail layanan
    Halaman detail Dataproc Metastore Service

  3. Di menu navigasi, klik Ekspor.

    Halaman Export metadata akan terbuka.

  4. Di bagian Destination, pilih MySQL atau Avro.

  5. Di kolom Destination URI, klik Browse, lalu pilih Cloud Storage URI tempat Anda ingin mengekspor file.

    Anda juga dapat memasukkan lokasi bucket di kolom teks yang disediakan. Gunakan format berikut: bucket/object atau bucket/folder/object.

  6. Untuk memulai ekspor, klik Kirim.

    Setelah selesai, ekspor Anda akan muncul dalam tabel di halaman Service detail pada tab Import/Export.

    Saat ekspor selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah ekspor berhasil atau tidak.

gcloud CLI

  1. Untuk mengekspor metadata dari layanan, jalankan perintah gcloud metastore services export gcs berikut:

    gcloud metastore services export gcs SERVICE \
    --location=LOCATION \
    --destination-folder=gs://bucket-name/path/to/folder \
    --dump-type=DUMP_TYPE

    Ganti kode berikut:

    • SERVICE: nama layanan Dataproc Metastore Anda.
    • LOCATION: region Google Cloud tempat layanan Dataproc Metastore Anda berada.
    • bucket-name/path/to/folder: folder tujuan Cloud Storage tempat Anda ingin menyimpan ekspor.
    • DUMP_TYPE: jenis dump database yang akan dihasilkan oleh ekspor. Nilai yang diterima mencakup mysql dan avro. Nilai defaultnya adalah mysql.

  2. Pastikan ekspor berhasil.

    Saat ekspor selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah ekspor berhasil atau tidak.

REST

Ikuti petunjuk API untuk mengekspor metadata ke layanan menggunakan APIs Explorer.

Saat ekspor selesai, layanan akan otomatis kembali ke status aktif, terlepas dari apakah ekspor berhasil atau tidak.

Lihat histori ekspor

Untuk melihat histori ekspor layanan Dataproc Metastore di Konsol Google Cloud, selesaikan langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

  2. Di menu navigasi, klik Import/Export.

    Histori ekspor Anda akan muncul di tabel Histori ekspor.

    Histori menampilkan hingga 25 ekspor terakhir.

Menghapus layanan Dataproc Metastore juga akan menghapus semua histori ekspor yang terkait.

Memecahkan masalah umum

Beberapa masalah umum mencakup:

Untuk mendapatkan bantuan lebih lanjut dalam menyelesaikan masalah umum, lihat Skenario error impor dan ekspor.

Langkah selanjutnya