Antarmuka administrator Dataproc Metastore

Halaman ini menjelaskan cara menggunakan antarmuka administrator Dataproc Metastore.

Antarmuka administrator memberi Anda alat terpusat untuk memeriksa dan mengelola metadata yang disimpan di layanan Dataproc Metastore, tanpa harus terhubung ke cluster Dataproc atau instance Hive. Sebagai gantinya, Anda dapat mengelola metadata dengan gcloud CLI atau Dataproc Metastore API.

Misalnya, dengan menggunakan antarmuka administrator, Anda dapat menjalankan kueri SQL langsung di metadata backend untuk mengambil nama tabel tertentu. Proses ini melibatkan langkah-langkah yang lebih sedikit daripada alur kerja standar, seperti membuat cluster Dataproc, terhubung ke cluster menggunakan SSH, memulai instance Hive, lalu akhirnya menjalankan kueri (misalnya, SELECT * FROM table_name).

Akibatnya, antarmuka administrator dapat membantu Anda menghemat waktu dan membantu mengurangi jumlah Google Cloud resource yang diperlukan untuk mengambil data.

Sebelum memulai

• Aktifkan Dataproc Metastore di project Anda.
• Buat layanan Dataproc Metastore.
• Mengimpor metadata ke Dataproc Metastore.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna menggunakan antarmuka administrator Dataproc Metastore, minta administrator untuk memberi Anda peran IAM berikut di project Anda, berdasarkan prinsip hak istimewa minimum:

• Untuk membuat kueri metadata Dataproc Metastore: Administrator kueri metadata (roles/metastore.metadataQueryAdmin) di akun pengguna atau akun layanan
• Untuk mengubah lokasi resource metadata Anda, termasuk database, tabel, dan partisi, atau memindahkan tabel ke database lain:
  • Administrator mutasi metadata (roles/metastore.metadataMutateAdmin) di akun pengguna atau akun layanan
  • Dataproc Metastore Editor (roles/metastore.editor) di akun pengguna atau akun layanan

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk menggunakan antarmuka administrator Metastore Dataproc. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menggunakan antarmuka administrator Dataproc Metastore:

• Untuk membuat kueri metadata Dataproc Metastore: metastore.services.queryMetadata
• Untuk mengubah atau memindahkan tabel Dataproc Metastore: metastore.services.mutateMetadata

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Ringkasan IAM Dataproc Metastore.

Operasi administrator yang didukung

Anda hanya dapat menjalankan operasi antarmuka administrator menggunakan gcloud CLI atau Dataproc Metastore API. Operasi antarmuka administrator tidak didukung di konsol Google Cloud.

Antarmuka administrator mendukung operasi berikut.

• Operasi hanya baca.

  • Buat kueri metadata.
  Peringatan: Hanya jalankan kueri hanya baca secara interaktif. Jangan mengotomatiskan atau menjalankan kueri hanya baca non-interaktif pada proses kritis produksi. Menjalankan kueri non-interaktif dapat menyebabkan masalah jika skema database yang mendasarinya berubah tanpa pemberitahuan.

• Operasi baca dan tulis.

  • Ubah lokasi resource metadata Anda, termasuk database, tabel, dan partisi.
  • Mengubah properti tabel, seperti pasangan nilai kunci kustom.
  • Memindahkan tabel ke database lain.

Mengkueri metadata

Operasi ini memungkinkan Anda mencari informasi metadata di database menggunakan kueri SQL. Setelah Anda menjalankan kueri, hasilnya akan dibuang ke bucket Google Cloud artefak.

Sebelum menjalankan operasi ini, perhatikan pertimbangan berikut:

• Operasi yang didukung hanya mencakup kueri MySQL atau Spanner read-only. Jika kueri mencoba mengubah data, operasi akan gagal.
• File output berisi maksimum 1.000 baris. Konfigurasi ini tidak dapat diubah.

• File output tidak otomatis dihapus. Sebagai gantinya, Anda harus menghapusnya secara manual dari bucket Google Cloud . Jika tidak menghapusnya, Anda mungkin akan dikenai biaya penyimpanan tambahan.

gcloud CLI

1. Untuk membuat kueri metadata, jalankan perintah gcloud metastore services query-metadata berikut:

   gcloud metastore services query-metadata SERVICE \
     --location=LOCATION \
     --query=QUERY

   Ganti kode berikut:

   • SERVICE: nama layanan Metastore Dataproc Anda.
   • LOCATION: Google Cloud region tempat layanan Dataproc Metastore Anda berada.
   • QUERY: kueri SQL untuk menargetkan metadata Anda.
     • Jika Anda menggunakan database MySQL, gunakan kueri MySQL reguler.
     • Jika Anda menggunakan database Spanner, gunakan kueri GoogleSQL.

2. Lihat file output di bucket Google Cloud artefak.

REST

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI dengan akun pengguna Anda. Anda dapat login dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun aktif dengan menjalankan gcloud auth list.

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -X POST -d '{"query": "QUERY"}' \
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:queryMetadata

Ganti kode berikut:

• QUERY: kueri SQL yang Anda gunakan untuk menargetkan metadata.
  • Jika Anda menggunakan database MySQL, gunakan kueri MySQL reguler.
  • Jika Anda menggunakan database Spanner, gunakan kueri GoogleSQL.
• PROJECT_ID: Google Cloud project ID tempat layanan Dataproc Metastore Anda berada.
• SERVICE: nama layanan Dataproc Metastore Anda.
• LOCATION: region tempat Metastore Dataproc Anda berada.

Contoh berikut menunjukkan contoh perintah yang menjalankan kueri select * dari database bernama DBS.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" -X POST -d  '{"query": "select * from DBS;"}' \
  https://metastore.googleapis.com/projects/dpms/locations/us-central1/services/dpms1:queryMetadata

Menafsirkan output operasi metadata kueri

Saat Anda pertama kali menjalankan perintah metadata kueri, Dataproc Metastore akan otomatis membuat folder Google Cloud di bucket artefak Google Cloud Anda. Folder ini bernama query-results. Setelah setiap eksekusi kueri berhasil (panggilan API), folder baru akan dibuat di dalam folder query-results (yang diberi nama dengan UUID yang dibuat secara acak).

Setiap folder baru berisi file result manifest dengan hasil kueri Anda. Lokasi folder ini ditampilkan dalam respons panggilan API Anda.

Misalnya, dalam respons, kolom resultManifestUri berisi lokasi file.

"response": {
    "@type": "type.googleapis.com/google.cloud.metastore.QueryMetadataResponse",
    "resultManifestUri": "gs://gcs-bucket-6a3638b8-e319-46363-ad33-e632a5e/query-results/800156f5-2d13-4b80-bec3-2345a9e880f6/result-manifest"
  }

Output file result manifest mirip dengan berikut ini:

{
  "status": {
    "code": 0,
    "message": "Query results are successfully uploaded to cloud storage",
    "details": []
  },
  "filenames": ["result-001"]
}

Detail file manifes hasil:

• Kolom status menunjukkan apakah kueri berhasil atau gagal.
• Jika eksekusi kueri berhasil, kolom filenames akan mencantumkan semua file yang dibuat. File ini berada di folder yang sama dengan file result manifest.
• Jika kueri menghasilkan kegagalan, kolom details akan menampilkan pesan error.

Catatan: Secara default, file output tidak memiliki TTL (Time to live). Anda harus menghapusnya secara manual dari bucket Google Cloud atau membuat aturan TTL kustom di folder query-results. Jika tidak menghapusnya, Anda mungkin akan dikenai biaya penyimpanan tambahan.

Mengubah lokasi resource metadata

Operasi ini memungkinkan Anda mengubah lokasi resource database, tabel, atau partisi.

Saat Anda menjalankan perintah ini, perintah ini hanya akan memperbarui direktori induk atau resource metadata masing-masing. Perintah ini tidak mentransfer data yang ada ke lokasi baru.

gcloud CLI

1. Untuk mengubah lokasi resource metadata, jalankan perintah gcloud metastore services alter-metadata-resource-location berikut:

   gcloud metastore services alter-metadata-resource-location SERVICE \
     --location=LOCATION \
     --resource_name=RESOURCE_NAME \
     --location_uri=LOCATION_URI

   Ganti kode berikut:

   • SERVICE: nama layanan Dataproc Metastore Anda.
   • LOCATION: Google Cloud region tempat layanan Dataproc Metastore Anda berada.
   • RESOURCE_NAME: nama database, tabel, atau partisi yang Anda ubah.
   • LOCATION_URI: Jalur Cloud Storage baru untuk konten RESOURCE_NAME. Nilai ini adalah jalur tempat Anda memindahkan lokasi resource metadata. Jalur ini harus diawali dengan gs://. Contohnya, gs://bucket/object

2. Pastikan bahwa perubahan lokasi resource berhasil.

REST

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI dengan akun pengguna Anda. Anda dapat login dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang akun dengan menjalankan gcloud auth list.

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  POST -d '{"resource_name": "RESOURCE_NAME", "location_uri":"LOCATION_URI"}' \
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:alterLocation

Ganti kode berikut:

• PROJECT_ID: Google Cloud project ID tempat layanan Dataproc Metastore Anda berada.
• SERVICE: nama layanan Dataproc Metastore Anda.
• LOCATION: region tempat Dataproc Metastore Anda berada.
• RESOURCE_NAME: nama database, tabel, atau partisi yang Anda ubah.
• LOCATION_URI: Jalur Cloud Storage baru untuk konten RESOURCE_NAME. Nilai ini adalah jalur tempat Anda memindahkan lokasi resource metadata. Jalur ini harus diawali dengan gs://. Contohnya, gs://bucket/object

Contoh berikut menunjukkan contoh perintah yang memindahkan tabel bernama test-table2 ke bucket Cloud Storage baru.

 curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -X POST -d  '{"resource_name": "databases/testdb1/tables/test-table2",
   "location_uri":"gs://gcs-bucket-dpms1-9425bd83-b794-4f1c-9e79-2d833f758cc1/empty"}'
   https://metastore.googleapis.com/projects/dpms/locations/us-central1/services/dpms1:alterLocation

Mengubah properti tabel

Operasi ini memungkinkan Anda mengubah properti tabel, seperti pasangan nilai kunci kustom yang Anda gunakan untuk menyimpan data. Misalnya, Anda dapat mengubah pasangan nilai kunci properties.customerID_1 menjadi properties.customerID_2.

gcloud CLI

1. Untuk mengubah properti tabel, jalankan perintah gcloud metastore services alter-table-properties berikut:

   gcloud metastore services alter-table-properties SERVICE \
     --location=LOCATION \
     --table-name=TABLE_NAME \
     --update-mask=UPDATE_MASK \
     --properties=PROPERTIES

   Ganti kode berikut:

   • SERVICE: nama layanan Metastore Dataproc Anda.
   • LOCATION: Google Cloud region tempat layanan Dataproc Metastore Anda berada.
   • TABLE_NAME: nama tabel yang berisi properti yang Anda ubah dalam format berikut, databases/{database_id}/tables/{table_id}.
   • UPDATE_MASK: nilai properti yang ada yang Anda perbarui. Gunakan daftar yang dipisahkan koma untuk mendeskripsikan pasangan nilai kunci, misalnya, properties.1,properties.2,properties.3,....
   • PROPERTIES: properti baru untuk tabel Anda. Gunakan daftar yang dipisahkan koma untuk mendeskripsikan pasangan nilai kunci. Contoh, a=1,b=2,c=3,.... Nilai yang Anda cantumkan di sini akan menimpa nilai di UPDATE_MASK.

REST

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI dengan akun pengguna Anda. Anda dapat login dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang akan otomatis membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun aktif dengan menjalankan gcloud auth list.

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  POST -d '{"table_name": "TABLE_NAME", "update_mask":"UPDATE_MASK", "properties":PROPERTIES}'\
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:alterTableProperties

Ganti kode berikut:

• SERVICE: nama layanan Metastore Dataproc Anda.
• LOCATION: Google Cloud region tempat layanan Dataproc Metastore Anda berada.
• TABLE_NAME: nama tabel yang berisi properti yang Anda ubah dalam format berikut, databases/{database_id}/tables/{table_id}.
• UPDATE_MASK: nilai properti yang ada yang Anda perbarui. Gunakan daftar yang dipisahkan koma untuk mendeskripsikan pasangan nilai kunci, misalnya, properties.1,properties.2,properties.3,....
• PROPERTIES: properti baru untuk tabel Anda. Gunakan daftar yang dipisahkan koma untuk mendeskripsikan pasangan nilai kunci, misalnya, a=1,b=2,c=3,.... Nilai yang Anda cantumkan di sini akan menimpa nilai di UPDATE_MASK.

Contoh berikut menunjukkan contoh perintah yang mengubah properti tabel dari tabel yang disebut test-table. Dalam contoh ini, pasangan nilai kunci yang ada, properties.customerID_1 diperbarui menjadi nilai baru properties.customerID_2

  curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json"
   -X POST -d  '{"table_name": "databases/default/tables/test-table", "update_mask":{"paths":"properties.customerID_1"}, "properties":{"customerID_1":"customerID_2"}}' https://metastore.googleapis.com/projects/dpms-p

Memindahkan tabel ke database lain

Operasi ini memungkinkan Anda memindahkan tabel internal (tabel terkelola) ke database lain. Dalam hal ini, direktori induk database dan datanya akan dipindahkan.

Anda tidak dapat memindahkan data yang disimpan dalam tabel eksternal.

gcloud CLI

1. Untuk memindahkan tabel ke database lain, jalankan perintah gcloud metastore services move-table-to-database berikut:

   gcloud metastore services move-table-to-database SERVICE \
     --location=LOCATION \
     --db_name=DB_NAME \
     --table_name=TABLE_NAME \
     --destination_db_name=DESTINATION_DB_NAME

   Ganti kode berikut:

   • SERVICE: nama layanan Dataproc Metastore Anda.
   • LOCATION: Google Cloud region tempat layanan Dataproc Metastore Anda berada.
   • DB_NAME: nama database sumber yang berisi tabel yang ingin Anda pindahkan.
   • TABLE_NAME: nama tabel yang ingin Anda pindahkan.
   • DESTINATION_DB_NAME: nama database baru tempat Anda ingin memindahkan tabel.

2. Pastikan perubahan tabel berhasil.

REST

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI dengan akun pengguna Anda. Anda dapat login dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang akan otomatis membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun aktif dengan menjalankan gcloud auth list.

curl -X POST -s -i \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  POST -d '{"table_name": "TABLE_NAME", "db_name": "DB_NAME", "destination_db_name": "DESTINATION_DB_NAME"}'\
  -H "Content-Type:application/json" \
  https://metastore.googleapis.com/projects/PROJECT_ID/locations/LOCATION/services/SERVICE:moveTableToDatabase

Ganti kode berikut:

• PROJECT_ID: Google Cloud project ID tempat layanan Dataproc Metastore Anda berada.
• SERVICE: nama layanan Dataproc Metastore Anda.
• LOCATION: region tempat Metastore Dataproc Anda berada.
• DB_NAME: nama database sumber yang berisi tabel yang ingin Anda pindahkan.
• TABLE_NAME: nama tabel yang ingin Anda pindahkan.
• DESTINATION_DB_NAME: nama database baru yang ingin Anda pindahkan tabelnya.

Contoh berikut menunjukkan contoh perintah yang memindahkan database bernama testdb1 ke database lain bernama testdb2.

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
 -H "Content-Type: application/json"
 -X POST -d  '{"table_name": "testtb1", "db_name": "testdb1",
 "destination_db_name": "testdb2"}' https://metastore.googleapis.com/projects/dpms/locations/asia-northeast2/services/dpms1:moveTableToDatabase

Langkah selanjutnya

• Mengekspor metadata
• Memperbarui metastore
• Mencadangkan metastore