Antarmuka administrator Dataproc Metastore

Halaman ini menjelaskan cara menggunakan antarmuka administrator Dataproc Metastore.

Antarmuka administrator menyediakan alat terpusat untuk memeriksa dan mengelola metadata yang tersimpan di layanan Dataproc Metastore Anda, tanpa harus terhubung ke cluster Dataproc atau instance Hive. Sebagai gantinya, Anda dapat mengelola metadata dengan gcloud CLI atau Dataproc Metastore API.

Misalnya, dengan menggunakan antarmuka administrator, Anda dapat menjalankan kueri SQL langsung di metadata backend untuk mengambil nama tabel tertentu. Proses ini melibatkan langkah yang lebih sedikit daripada alur kerja biasa, seperti membuat cluster Dataproc, menghubungkan ke cluster menggunakan SSH, memulai instance Hive, lalu menjalankan kueri (misalnya, SELECT * FROM table_name).

Hasilnya, antarmuka administrator dapat membantu Anda menghemat waktu dan mengurangi jumlah resource Google Cloud yang diperlukan untuk mengambil data Anda.

Sebelum memulai

• Aktifkan Dataproc Metastore di project Anda.
• Buat layanan Metastore Dataproc.
• Impor metadata ke Dataproc Metastore.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menggunakan antarmuka administrator Dataproc Metastore, minta administrator Anda untuk memberi Anda peran IAM berikut pada project, berdasarkan prinsip hak istimewa terendah:

• Untuk membuat kueri metadata Metastore Dataproc: Administrator kueri metadata (roles/metastore.metadataQueryAdmin) pada akun pengguna atau akun layanan
• Untuk mengubah lokasi resource metadata Anda, termasuk database, tabel, dan partisi, atau memindahkan tabel ke database lain:
  • Administrator perubahan metadata (roles/metastore.metadataMutateAdmin) di akun pengguna atau akun layanan
  • Editor Metastore Dataproc (roles/metastore.editor) pada akun pengguna atau akun layanan

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk menggunakan antarmuka administrator Dataproc Metastore. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menggunakan antarmuka administrator Dataproc Metastore:

• Untuk membuat kueri metadata Metastore Dataproc: metastore.services.queryMetadata
• Untuk mengubah atau memindahkan tabel Metastore Dataproc: metastore.services.mutateMetadata

Anda mung juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaanlainnya.

Untuk informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Ringkasan IAM Metastore Dataproc.

Operasi administrator yang didukung

Anda hanya dapat menjalankan operasi antarmuka administrator dengan menggunakan gcloud CLI atau Dataproc Metastore API. Operasi antarmuka administrator tidak didukung di Konsol Google Cloud.

Antarmuka administrator mendukung operasi berikut.

• Operasi hanya baca.

  • Metadata kueri.
  Peringatan: Hanya jalankan kueri hanya baca secara interaktif. Jangan mengotomatiskan atau menjalankan kueri hanya baca non-interaktif pada proses yang penting untuk produksi. Menjalankan kueri noninteraktif dapat menyebabkan masalah jika skema database yang mendasarinya berubah tanpa pemberitahuan.

• Operasi baca dan tulis.

  • Ubah lokasi resource metadata Anda, termasuk database, tabel, dan partisi.
  • Mengubah properti tabel, seperti pasangan nilai kunci kustom.
  • Memindahkan tabel ke {i>database<i} lain.

Metadata kueri

Operasi ini memungkinkan Anda mencari informasi metadata dalam database menggunakan kueri SQL. Setelah Anda menjalankan kueri, hasilnya akan dibuang ke bucket Google Cloud artefak.

Sebelum menjalankan operasi ini, perhatikan pertimbangan berikut:

• Operasi yang didukung hanya mencakup kueri MySQL atau Spanner read-only. Jika kueri mencoba mengubah data, operasi akan gagal.
• File output berisi maksimum 1.000 baris. Konfigurasi ini tidak dapat diubah.

• File output tidak otomatis dihapus. Sebagai gantinya, Anda harus menghapusnya secara manual dari bucket Google Cloud. Jika tidak dihapus, Anda mungkin dikenai biaya penyimpanan tambahan.

gcloud CLI

1. Untuk membuat kueri metadata, jalankan perintah gcloud metastore services query-metadata berikut:

   gcloud metastore services query-metadata SERVICE \
     --location=LOCATION \
     --query=QUERY

   Ganti kode berikut:

   • SERVICE: nama layanan Metastore Dataproc Anda.
   • LOCATION: region Google Cloud tempat layanan Metastore Dataproc Anda berada.
   • QUERY: kueri SQL untuk menargetkan metadata Anda.
     • Jika Anda menggunakan database MySQL, gunakan kueri MySQL reguler.
     • Jika Anda menggunakan database Spanner, gunakan kueri SQL Standar Google.

2. Lihat file output di artefak Google Cloud bucket Anda.

REST

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI dengan akun pengguna Anda. Anda dapat login dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang akan otomatis memasukkan Anda ke gcloud CLI. Anda dapat memeriksa akun aktif dengan menjalankan gcloud auth list.

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -X POST -d '{"query": "QUERY"}' \
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:queryMetadata

Ganti kode berikut:

• QUERY: kueri SQL yang Anda gunakan untuk menargetkan metadata.
  • Jika Anda menggunakan database MySQL, gunakan kueri MySQL reguler.
  • Jika Anda menggunakan database Spanner, gunakan kueri SQL Standar Google.
• PROJECT_ID: ID project Google Cloud tempat Anda berada di layanan Metastore Dataproc.
• SERVICE: nama layanan Dataproc Metastore Anda.
• LOCATION: region tempat Metastore Dataproc Anda berada.

Contoh berikut menunjukkan contoh perintah yang menjalankan kueri select * dari database bernama DBS.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" -X POST -d  '{"query": "select * from DBS;"}' \
  https://metastore.googleapis.com/projects/dpms/locations/us-central1/services/dpms1:queryMetadata

Menafsirkan output operasi metadata kueri

Saat Anda pertama kali menjalankan perintah metadata kueri, Dataproc Metastore akan otomatis membuat folder Google Cloud di bucket Google Cloud artefak Anda. Folder ini diberi nama query-results. Setelah setiap eksekusi kueri yang berhasil (panggilan API), folder baru akan dibuat di dalam folder query-results (yang diberi nama dengan UUID yang dihasilkan secara acak).

Setiap folder baru berisi file result manifest dengan hasil kueri Anda. Lokasi folder ini ditampilkan sebagai respons atas panggilan API Anda.

Misalnya, dalam respons, kolom resultManifestUri berisi lokasi file.

"response": {
    "@type": "type.googleapis.com/google.cloud.metastore.QueryMetadataResponse",
    "resultManifestUri": "gs://gcs-bucket-6a3638b8-e319-46363-ad33-e632a5e/query-results/800156f5-2d13-4b80-bec3-2345a9e880f6/result-manifest"
  }

Output file result manifest mirip dengan yang berikut ini:

{
  "status": {
    "code": 0,
    "message": "Query results are successfully uploaded to cloud storage",
    "details": []
  },
  "filenames": ["result-001"]
}

Detail file manifes hasil:

• Kolom status menunjukkan apakah kueri berhasil atau gagal.
• Jika eksekusi kueri berhasil, kolom filenames akan mencantumkan semua file yang dibuat. File ini berada dalam folder yang sama dengan file result manifest.
• Jika kueri gagal, kolom details akan menampilkan pesan error.

Catatan: Secara default, file output tidak memiliki TTL (Time to live). Anda harus menghapusnya secara manual dari bucket Google Cloud atau membuat aturan TTL kustom di folder query-results. Jika tidak menghapusnya, Anda mungkin dikenai biaya penyimpanan tambahan.

Mengubah lokasi resource metadata

Operasi ini memungkinkan Anda mengubah lokasi resource dari database, tabel, atau partisi.

Saat Anda menjalankan perintah ini, perintah ini hanya akan memperbarui direktori induk atau resource metadata masing-masing. Perintah ini tidak mentransfer data yang ada ke lokasi baru.

gcloud CLI

1. Untuk mengubah lokasi resource metadata, jalankan perintah gcloud metastore services alter-metadata-resource-location berikut:

   gcloud metastore services alter-metadata-resource-location SERVICE \
     --location=LOCATION \
     --resource_name=RESOURCE_NAME \
     --location_uri=LOCATION_URI

   Ganti kode berikut:

   • SERVICE: nama layanan Dataproc Metastore Anda.
   • LOCATION: region Google Cloud tempat layanan Metastore Dataproc Anda berada.
   • RESOURCE_NAME: nama database, tabel, atau partisi yang Anda ubah.
   • LOCATION_URI: Jalur Cloud Storage baru untuk konten RESOURCE_NAME. Nilai ini adalah jalur tujuan pemindahan lokasi resource metadata. Jalur ini harus diawali dengan gs://. Contohnya, gs://bucket/object

2. Pastikan perubahan lokasi fasilitas berhasil.

REST

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI dengan akun pengguna Anda. Anda dapat login dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang akun mana dengan menjalankan gcloud auth list.

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  POST -d '{"resource_name": "RESOURCE_NAME", "location_uri":"LOCATION_URI"}' \
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:alterLocation

Ganti kode berikut:

• PROJECT_ID: ID project Google Cloud tempat Anda berada di layanan Metastore Dataproc.
• SERVICE: nama layanan Dataproc Metastore Anda.
• LOCATION: region tempat Metastore Dataproc Anda berada.
• RESOURCE_NAME: nama database, tabel, atau partisi yang Anda ubah.
• LOCATION_URI: Jalur Cloud Storage baru untuk konten RESOURCE_NAME. Nilai ini adalah jalur tujuan pemindahan lokasi resource metadata. Jalur ini harus diawali dengan gs://. Contohnya, gs://bucket/object

Contoh berikut menunjukkan contoh perintah yang memindahkan tabel bernama test-table2 ke bucket Cloud Storage baru.

 curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -X POST -d  '{"resource_name": "databases/testdb1/tables/test-table2",
   "location_uri":"gs://gcs-bucket-dpms1-9425bd83-b794-4f1c-9e79-2d833f758cc1/empty"}'
   https://metastore.googleapis.com/projects/dpms/locations/us-central1/services/dpms1:alterLocation

Mengubah properti tabel

Operasi ini memungkinkan Anda mengubah properti tabel, seperti pasangan nilai kunci kustom yang Anda gunakan untuk menyimpan data. Misalnya, Anda dapat mengubah pasangan nilai kunci properties.customerID_1 menjadi properties.customerID_2.

gcloud CLI

1. Untuk mengubah properti tabel, jalankan perintah gcloud metastore services alter-table-properties berikut:

   gcloud metastore services alter-table-properties SERVICE \
     --location=LOCATION \
     --table-name=TABLE_NAME \
     --update-mask=UPDATE_MASK \
     --properties=PROPERTIES

   Ganti kode berikut:

   • SERVICE: nama layanan Metastore Dataproc Anda.
   • LOCATION: region Google Cloud tempat layanan Metastore Dataproc Anda berada.
   • TABLE_NAME: nama tabel yang berisi properti yang Anda ubah dalam format berikut, databases/{database_id}/tables/{table_id}.
   • UPDATE_MASK: nilai properti yang ada yang Anda perbarui. Gunakan daftar yang dipisahkan koma untuk mendeskripsikan key-value pair, misalnya, properties.1,properties.2,properties.3,....
   • PROPERTIES: properti baru untuk tabel Anda. Gunakan daftar yang dipisahkan koma untuk mendeskripsikan key-value pair. Misalnya, a=1,b=2,c=3,.... Nilai yang Anda cantumkan di sini menimpa nilai dalam UPDATE_MASK.

REST

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI dengan akun pengguna Anda. Anda dapat login dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang otomatis akan membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun aktif dengan menjalankan gcloud auth list.

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  POST -d '{"table_name": "TABLE_NAME", "update_mask":"UPDATE_MASK", "properties":PROPERTIES}'\
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:alterTableProperties

Ganti kode berikut:

• SERVICE: nama layanan Metastore Dataproc Anda.
• LOCATION: region Google Cloud tempat layanan Metastore Dataproc Anda berada.
• TABLE_NAME: nama tabel yang berisi properti yang Anda ubah dalam format berikut, databases/{database_id}/tables/{table_id}.
• UPDATE_MASK: nilai properti yang ada yang Anda perbarui. Gunakan daftar yang dipisahkan koma untuk mendeskripsikan key-value pair, misalnya, properties.1,properties.2,properties.3,....
• PROPERTIES: properti baru untuk tabel Anda. Gunakan daftar yang dipisahkan koma untuk mendeskripsikan key-value pair, misalnya, a=1,b=2,c=3,.... Nilai yang Anda cantumkan di sini menimpa nilai dalam UPDATE_MASK.

Contoh berikut menunjukkan contoh perintah yang mengubah properti tabel dari tabel yang disebut test-table. Dalam contoh ini pasangan nilai kunci yang ada, properties.customerID_1 diperbarui ke nilai baru properties.customerID_2

  curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json"
   -X POST -d  '{"table_name": "databases/default/tables/test-table", "update_mask":{"paths":"properties.customerID_1"}, "properties":{"customerID_1":"customerID_2"}}' https://metastore.googleapis.com/projects/dpms-p

Memindahkan tabel ke {i>database<i} lain

Operasi ini memungkinkan Anda memindahkan tabel internal (tabel terkelola) ke database lain. Dalam hal ini, baik direktori induk {i>database<i} maupun datanya akan dipindahkan.

Anda tidak dapat memindahkan data yang disimpan dalam tabel eksternal.

gcloud CLI

1. Untuk memindahkan tabel ke database lain, jalankan perintah gcloud metastore services move-table-to-database berikut:

   gcloud metastore services move-table-to-database SERVICE \
     --location=LOCATION \
     --db_name=DB_NAME \
     --table_name=TABLE_NAME \
     --destination_db_name=DESTINATION_DB_NAME

   Ganti kode berikut:

   • SERVICE: nama layanan Dataproc Metastore Anda.
   • LOCATION: region Google Cloud tempat layanan Metastore Dataproc Anda berada.
   • DB_NAME: nama database sumber yang berisi tabel yang ingin Anda pindahkan.
   • TABLE_NAME: nama tabel yang ingin Anda pindahkan.
   • DESTINATION_DB_NAME: nama database baru tujuan pemindahan tabel.

2. Verifikasi bahwa perubahan tabel berhasil.

REST

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI dengan akun pengguna Anda. Anda dapat login dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang otomatis akan membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun aktif dengan menjalankan gcloud auth list.

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  POST -d '{"table_name": "TABLE_NAME", "db_name": "DB_NAME", "destination_db_name": "DESTINATION_DB_NAME"}'\
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:moveTableToDatabase

Ganti kode berikut:

• PROJECT_ID: ID project Google Cloud tempat layanan Metastore Dataproc Anda berada.
• SERVICE: nama layanan Dataproc Metastore Anda.
• LOCATION: region tempat Metastore Dataproc Anda berada.
• DB_NAME: nama database sumber yang berisi tabel yang ingin Anda pindahkan.
• TABLE_NAME: nama tabel yang ingin Anda pindahkan.
• DESTINATION_DB_NAME: nama database baru tempat Anda ingin memindahkan tabel.

Contoh berikut menunjukkan contoh perintah yang memindahkan sistem berbasis data bernama testdb1 ke database lain yang disebut testdb2.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
 -H "Content-Type: application/json"
 -X POST -d  '{"table_name": "testtb1", "db_name": "testdb1",
 "destination_db_name": "testdb2"}' https://metastore.googleapis.com/projects/dpms/locations/asia-northeast2/services/dpms1:moveTableToDatabase

Langkah selanjutnya

• Metadata ekspor
• Mengupdate metastore
• Mencadangkan metastore