Ringkasan Metastore Dataproc

Dataproc Metastore adalah metastore Apache Hive (HMS) yang terkelola sepenuhnya dan berjalan di Google Cloud. (HMS) adalah standar yang ditetapkan dalam ekosistem big data open source untuk mengelola metadata teknis, seperti skema, partisi, dan statistik kolom dalam database relasional.

Dataproc Metastore sangat tersedia, melakukan autohealing, dan tanpa server. Gunakan untuk mengelola metadata danau data dan menyediakan interoperabilitas antara berbagai mesin pemrosesan data dan alat yang Anda gunakan.

Cara kerja Dataproc Metastore

Anda dapat menggunakan layanan Dataproc Metastore dengan menghubungkannya ke cluster Dataproc. Cluster Dataproc menyertakan komponen yang mengandalkan HMS untuk mendorong perencanaan dan eksekusi kueri.

Integrasi ini memungkinkan Anda menyimpan informasi tabel di antara tugas atau menyediakan metadata ke cluster lain dan mesin pemrosesan lainnya.

Misalnya, menerapkan metastore dapat membantu Anda menentukan bahwa sebagian file berisi data pendapatan, bukan melacak nama file secara manual. Dalam hal ini, Anda dapat menentukan tabel untuk file tersebut dan menyimpan metadata di Dataproc Metastore. Setelah itu, Anda dapat menghubungkannya ke cluster Dataproc dan membuat kueri tabel untuk mendapatkan informasi menggunakan Hive, Spark SQL, atau layanan kueri lainnya.

Versi Dataproc Metastore

Saat membuat layanan Dataproc Metastore, Anda dapat memilih untuk menggunakan layanan Dataproc Metastore 2 atau layanan Dataproc Metastore 1.

  • Dataproc Metastore 2 adalah generasi baru layanan yang menawarkan skalabilitas horizontal selain fitur Dataproc Metastore 1. Untuk mengetahui informasi selengkapnya, lihat fitur dan manfaat.

  • Dataproc Metastore 2 memiliki paket harga yang berbeda dengan Dataproc Metastore. Untuk mengetahui informasi selengkapnya, lihat paket harga dan konfigurasi penskalaan.

Kasus penggunaan umum

Semua kasus penggunaan yang tercantum di bagian ini didukung oleh Dataproc Metastore 2 dan Dataproc Metastore 1, kecuali jika dinyatakan lain.

  • Tetapkan makna pada data Anda. Buat repositori metadata terpusat yang dibagikan di antara banyak cluster Dataproc efemeral. Gunakan berbagai mesin software open source (OSS), seperti [Apache Hive](https://hive.apache.org, Apache Spark, dan Presto.

  • Buat tampilan terpadu untuk data Anda. Berikan interoperabilitas antara layanan Google Cloud, seperti Dataproc, Dataplex, dan BigQuery, atau gunakan penawaran partner berbasis open source lainnya di Google Cloud.

Fitur dan manfaat

Semua fitur yang tercantum di bagian ini didukung oleh Dataproc Metastore 2 dan Dataproc Metastore 1, kecuali jika dinyatakan lain.

  • Kompatibilitas OSS. Menghubungkan ke mesin pemrosesan data yang ada, seperti Apache Hive, Apache Spark, dan Presto.

  • Pengelolaan. Buat atau perbarui metastore dalam hitungan menit, lengkap dengan tugas pemantauan dan operasi yang dikonfigurasi sepenuhnya.

  • Integrasi. Berintegrasi dengan produk Google Cloud lainnya, seperti menggunakan BigQuery sebagai sumber metadata untuk cluster Dataproc.

  • Keamanan bawaan. Gunakan protokol keamanan Google Cloud yang sudah mapan, seperti Identity and Access Management (IAM) dan autentikasi Kerberos.

  • Impor sederhana. Mengimpor metadata yang ada yang disimpan di metastore Hive Metastore eksternal ke layanan Dataproc Metastore.

  • Pencadangan Otomatis. Konfigurasikan pencadangan metastore otomatis untuk membantu menghindari kehilangan data.

  • Pemantauan performa. Tetapkan tingkat performa untuk merespons secara dinamis workload dan lonjakan yang sangat intensif, tanpa prapenyiapan atau penyimpanan dalam cache.

  • Ketersediaan tinggi (HA).

    • Dataproc Metastore 2. Memberikan ketersediaan tinggi (HA) zonaonal tanpa memerlukan konfigurasi spesifik atau pengelolaan berkelanjutan. Hal ini dilakukan dengan mereplikasi database backend dan server HMS secara otomatis di beberapa zona di region yang Anda pilih. Selain HA Zonal, Dataproc Metastore 2 mendukung HA dan Pemulihan dari Bencana (DR) regional.
    • Dataproc Metastore 1. Secara default, menyediakan ketersediaan tinggi zonaonal (HA) tanpa memerlukan konfigurasi spesifik atau pengelolaan berkelanjutan. Hal ini dilakukan dengan mereplikasi database backend dan server HMS secara otomatis di beberapa zona di region yang Anda pilih.

  • Skalabilitas.

    • Dataproc Metastore 2. Gunakan faktor penskalaan horizontal untuk menentukan jumlah resource yang perlu digunakan layanan Anda pada waktu tertentu. Faktor penskalaan dapat dikontrol secara manual atau disetel ke penskalaan otomatis jika diperlukan.
    • Dataproc Metastore 1. Pilih antara tingkat developer atau tingkat perusahaan saat menyiapkan layanan. Tingkat ini menentukan berapa banyak resource yang perlu digunakan layanan Anda pada waktu tertentu.

  • Dukungan. Manfaatkan SLA dan saluran dukungan Google Cloud standar.

Integrasi dengan Google Cloud

Semua integrasi yang tercantum di bagian ini didukung oleh Dataproc Metastore 1 dan Dataproc Metastore 2, kecuali jika dinyatakan lain.

  • Dataproc. Terhubung ke cluster Dataproc, sehingga Anda dapat menayangkan metadata untuk beban kerja big data OSS.
  • BigQuery. Buat kueri set data BigQuery di workload Dataproc Anda.
  • Dataplex. Buat kueri data terstruktur dan semi-terstruktur yang ditemukan di data lake Dataplex.
  • Data Catalog. Sinkronkan Dataproc Metastore dengan Data Catalog untuk mengaktifkan penelusuran dan penemuan metadata.
  • Logging dan Pemantauan. Mengintegrasikan Dataproc Metastore dengan produk Cloud Monitoring dan Logging.
  • Autentikasi dan IAM. Mengandalkan autentikasi OAuth standar yang digunakan oleh produk Google Cloud lainnya, yang mendukung penggunaan peran Identity and Access Management terperinci untuk mengaktifkan kontrol akses untuk setiap resource.

Langkah berikutnya