Komponen Solr opsional Dataproc

Anda dapat menginstal komponen tambahan seperti Solr saat membuat cluster Dataproc menggunakan fitur Komponen opsional. Halaman ini menjelaskan komponen Solr.

Komponen Apache Solr adalah platform penelusuran perusahaan open source. Server Solr dan UI Web tersedia di port 8983 pada node master cluster.

Mempertahankan file Solr: Secara default, Solr menulis dan membaca file log indeks dan transaksi dalam HDFS. Untuk mempertahankan file Solr, gunakan jalur Cloud Storage sebagai direktori beranda Solr dengan menyetel properti cluster dataproc:solr.gcs.path saat Anda menginstal komponen.

Menginstal komponen

Instal komponen saat Anda membuat cluster Dataproc. Komponen dapat ditambahkan ke cluster yang dibuat dengan Dataproc versi 1.3 dan yang lebih baru.

Lihat Versi Dataproc yang didukung untuk versi komponen yang disertakan dalam setiap rilis image Dataproc.

Perintah gcloud

Untuk membuat cluster Dataproc yang menyertakan komponen Solr, gunakan perintah gcloud dataproc cluster create cluster-name dengan flag --optional-components. Contoh perintah di bawah ini menggunakan flag properties opsional untuk menetapkan jalur Cloud Storage sebagai direktori utama Solr.

Saat membuat cluster, gunakan perintah gcloud dataproc clusters create dengan flag --enable-component-gateway, seperti yang ditunjukkan di bawah, untuk memungkinkan koneksi ke UI Solr Web menggunakan Gateway Komponen.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Tambahkan --properties="dataproc:solr.gcs.path=gs://bucket-name/" properti cluster ke perintah gcloud dataproc clusters create untuk menetapkan bucket Cloud Storage tempat dokumen Solr akan disimpan (direktori home Solr).

REST API

Komponen Solr dapat ditentukan melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.

Sebagai bagian dari permintaan clusters.create, Anda dapat:

1. Tetapkan properti EndpointConfig.enableHttpPortAccess ke true agar dapat terhubung ke UI Solr Web menggunakan Gateway Komponen.
2. Tetapkan "dataproc:solr.gcs.path=gs://bucket-name" properti cluster di kolom SoftwareConfig.Component.properties untuk menetapkan bucket Cloud Storage tempat dokumen Solr akan disimpan (direktori home Solr).

Konsol

1. Aktifkan gateway komponen dan komponen.
   • Di Konsol Google Cloud, buka halaman Buat cluster Dataproc. Panel Siapkan cluster dipilih.
   • Di bagian Components:
     • Di bagian Optional Components, pilih Solr dan komponen opsional lainnya untuk diinstal di cluster Anda.
     • Pada Gateway Komponen, pilih Aktifkan gateway komponen (lihat Melihat dan Mengakses URL Gateway Komponen).