Elasticsearch

Konektor Elasticsearch memungkinkan Anda terhubung ke mesin telusur Elasticsearch dan menjalankan operasi mesin telusur yang didukung.

Sebelum memulai

Sebelum menggunakan konektor Elasticsearch, lakukan tugas berikut:

  • Di project Google Cloud Anda:
    • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
    • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu melakukan autentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk mengetahui informasi selengkapnya, lihat Membuat akun layanan.

    • Aktifkan layanan berikut:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

    Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Mengonfigurasi konektor mengharuskan Anda membuat koneksi ke sumber data (sistem backend). Koneksi bersifat khusus untuk sumber data. Artinya, jika memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan langkah-langkah berikut:

  1. Di Konsol Cloud, buka halaman Integration Connectors > Connections, lalu pilih atau buat project Google Cloud.

    Buka halaman Connections

  2. Klik + CREATE NEW untuk membuka halaman Create Connection.
  3. Di bagian Lokasi, pilih lokasi untuk koneksi.
    1. Region: Pilih lokasi dari menu drop-down.

      Untuk mengetahui daftar semua wilayah yang didukung, lihat Lokasi.

    2. Klik BERIKUTNYA.
  4. Di bagian Connection Details, selesaikan tindakan berikut:
    1. Konektor: Pilih Elasticsearch dari menu drop-down Konektor yang tersedia.
    2. Versi konektor: Pilih versi Konektor dari menu drop-down versi yang tersedia.
    3. Di kolom Connection Name, masukkan nama untuk instance Connection.

      Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus kecil.
      • Nama koneksi harus dimulai dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh lebih dari 63 karakter.
    4. Secara opsional, masukkan Deskripsi untuk instance koneksi.
    5. Akun Layanan: Pilih akun layanan yang memiliki peran yang diperlukan.
    6. Secara opsional, konfigurasikan Setelan node koneksi:

      • Jumlah minimum node: Masukkan jumlah minimum node koneksi.
      • Jumlah maksimum node: Masukkan jumlah maksimum node koneksi.

      {i>Node<i} adalah unit (atau replika) koneksi yang memproses transaksi. Lebih banyak node diperlukan untuk memproses lebih banyak transaksi untuk sebuah koneksi dan sebaliknya, lebih sedikit node diperlukan untuk memproses transaksi yang lebih sedikit. Untuk memahami pengaruh node terhadap harga konektor Anda, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum akan ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

    7. Evaluasi Sisi Klien: Tetapkan ClientSideEvaluation ke true untuk melakukan sisi klien Evaluasi pada objek bertingkat.
    8. Model Data: Menentukan model data yang akan digunakan saat mengurai dokumen Elasticsearch dan membuat metadata database.
    9. Hasil Maks: Jumlah total hasil maksimum yang akan ditampilkan dari Elasticsearch saat menggunakan Search API default.
    10. Use proxy: Centang kotak ini guna mengonfigurasi server proxy untuk koneksi dan mengonfigurasi nilai berikut:
      • Proxy Auth Scheme: Pilih jenis autentikasi untuk mengautentikasi dengan server proxy. Jenis autentikasi berikut didukung:
        • Dasar: Autentikasi HTTP dasar.
        • Ringkasan: Autentikasi HTTP ringkasan.
      • Pengguna Proxy: Nama pengguna yang akan digunakan untuk melakukan autentikasi dengan server proxy.
      • Sandi Proxy: Rahasia Secret manager sandi pengguna.
      • Jenis SSL Proxy: Jenis SSL yang akan digunakan saat terhubung ke server proxy. Jenis autentikasi berikut didukung:
        • Otomatis: Setelan default. Jika URL adalah URL HTTPS, opsi Tunnel akan digunakan. Jika URL adalah URL HTTP, opsi JANGAN digunakan.
        • Selalu: Koneksi selalu mengaktifkan SSL.
        • Tidak pernah: Koneksi tidak mengaktifkan SSL.
        • Tunnel: Koneksi melalui proxy tunneling. Server proxy membuka koneksi ke host jarak jauh dan traffic mengalir bolak-balik melalui proxy.
      • Di bagian Server Proxy, masukkan detail server proxy.
        1. Klik + Tambahkan tujuan.
        2. Pilih Jenis Tujuan.
          • Alamat host: Tentukan nama host atau alamat IP tujuan.

            Jika ingin membuat koneksi pribadi ke sistem backend Anda, lakukan hal berikut:

    11. Secara opsional, klik + TAMBAHKAN LABEL untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci/nilai.
    12. Klik BERIKUTNYA.
  5. Di bagian Destinations, masukkan detail host jarak jauh (sistem backend) yang ingin Anda hubungkan.
    1. Jenis Tujuan: Pilih Jenis Tujuan.
      1. Di kolom Host address, tentukan nama host atau alamat IP tujuan.
        1. Jika ingin membuat koneksi pribadi ke sistem backend, ikuti langkah-langkah berikut:
          1. Buat lampiran layanan PSC.
          2. Buat lampiran endpoint, lalu masukkan detail lampiran endpoint di kolom Alamat host.
        2. Jika ingin membuat koneksi publik ke sistem backend dengan keamanan tambahan, Anda dapat mempertimbangkan untuk mengonfigurasi alamat IP keluar statis untuk koneksi Anda, lalu mengonfigurasi aturan firewall untuk hanya mengizinkan alamat IP statis tertentu.

      Untuk memasukkan tujuan tambahan, klik +TAMBAHKAN TUJUAN.

    2. Klik BERIKUTNYA.
  6. Di bagian Authentication, masukkan detail autentikasi.
    1. Pilih Jenis autentikasi, lalu masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi Elasticsearch:

      • Anonim
      • Nama pengguna dan sandi
    2. Untuk memahami cara mengonfigurasi jenis autentikasi ini, lihat Mengonfigurasi autentikasi.

    3. Klik BERIKUTNYA.
  7. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
  8. Klik Create.

Mengonfigurasi autentikasi

Masukkan detail berdasarkan autentikasi yang ingin Anda gunakan.

  • Anonim

    Jika Anda ingin menggunakan login anonim, pilih Tidak Tersedia.

  • Nama pengguna dan sandi
    • Nama pengguna: Nama pengguna untuk konektor
    • Password: Secret Manager yang berisi sandi yang terkait dengan konektor.

Entitas, operasi, dan tindakan

Semua Integration Connectors menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ditampilkan kepada Anda sebagai entity, operasi, dan tindakan.

  • Entity: Entity dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entity berbeda dari konektor ke konektor. Misalnya, pada konektor database, tabel adalah entity, pada konektor server file, folder adalah entity, dan di konektor sistem pesan, antrean adalah entity.

    Namun, mungkin saja konektor tidak mendukung atau memiliki entitas, dalam hal ini daftar Entities akan kosong.

  • Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan salah satu operasi berikut pada entitas:

    Memilih entity dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entity tersebut. Untuk deskripsi operasi secara mendetail, lihat operasi entity tugas Konektor. Namun, jika konektor tidak mendukung salah satu operasi entity, operasi yang tidak didukung tersebut tidak akan dicantumkan dalam daftar Operations.

  • Tindakan: Tindakan adalah fungsi kelas pertama yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan bervariasi dari satu konektor ke konektor lainnya. Namun, mungkin saja konektor tidak mendukung tindakan apa pun, dalam hal ini daftar Actions akan kosong.

Keterbatasan sistem

Konektor Elasticsearch dapat memproses 10 transaksi per detik, per node, dan men-throttle setiap transaksi di luar batas ini. Secara default, Integration Connectors mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk satu koneksi.

Untuk informasi tentang batas yang berlaku untuk Konektor Integrasi, lihat Batas.

Tindakan

Bagian ini mencantumkan tindakan yang didukung oleh konektor. Untuk memahami cara mengonfigurasi tindakan, lihat Contoh tindakan.

Tindakan CreateIndex

Tindakan ini akan membuat indeks.

Parameter input tindakan CreateIndex

Nama Parameter Jenis Data Diperlukan Deskripsi
AliasFilter String Tidak Membuat kueri objek DSL yang digunakan untuk membatasi dokumen yang dapat diakses alias.
NumberOfShards String Tidak Jumlah shard utama yang harus dimiliki indeks yang dibuat.
AliasIsWriteIndex Boolean Tidak Menentukan apakah indeks alias dapat ditulis.
Alias String Tidak Alias untuk indeks.
AliasIndexRouting String Tidak Nilai yang digunakan untuk alias guna mengarahkan operasi pengindeksan ke shard tertentu. Jika ditentukan, nilai ini akan menimpa nilai perutean untuk operasi pengindeksan.
Indeks String Ya Nama indeks.
NumberOfRoutingShards String Tidak Angka yang digunakan oleh Elasticsearch secara internal dengan nilai dari NumberOfShards untuk merutekan dokumen ke shard utama.
OtherSettings String Tidak Objek JSON setelan. Setelan ini tidak dapat digunakan bersama dengan NumberOfRoutingShards atau NumberOfShard.
Pemetaan String Tidak Objek JSON yang menentukan pemetaan untuk indeks.
AliasIsHidden Boolean Tidak Menentukan apakah alias disembunyikan. Semua indeks untuk alias harus memiliki nilai is_hidden yang sama.
AliasRouting String Tidak Nilai yang digunakan untuk alias guna merutekan operasi penelusuran dan pengindeksan ke shard tertentu. Dapat ditimpa oleh AliasIndexRouting atau AliasSearchRouting untuk operasi tertentu.

Parameter output tindakan CreateIndex

Tindakan ini akan menampilkan status 200 (OK) jika tindakan tersebut berhasil.

Untuk memahami cara mengonfigurasi tindakan CreateIndex, lihat Contoh tindakan.

TindakanModifyIndexAliases

Tindakan ini akan mengubah alias indeks.

Parameter input tindakanModifyIndexAliases

Nama Parameter Jenis Data Diperlukan Deskripsi
Alias String Tidak Nama alias. Beberapa alias dipisahkan oleh titik koma.
Filter String Tidak Filter yang akan digunakan saat membuat alias. Fungsi ini menggunakan filter JSON mentah menggunakan DSL Kueri. Beberapa filter dipisahkan dengan titik koma.
Pemilihan rute String Tidak Nilai perutean yang akan dikaitkan dengan alias. Beberapa nilai perutean dipisahkan dengan titik koma.
SearchRouting String Tidak Nilai perutean yang akan dikaitkan dengan alias untuk operasi penelusuran. Beberapa nilai perutean penelusuran dipisahkan dengan titik koma.
IndexRouting String Tidak Nilai perutean yang akan dikaitkan dengan alias untuk operasi pengindeksan. Beberapa nilai perutean indeks dipisahkan dengan titik koma.
Tindakan String Ya Tindakan yang akan dilakukan seperti add, remove, atau remove_index. Beberapa tindakan dipisahkan dengan titik koma.
Indeks String Ya Nama indeks. Beberapa indeks dipisahkan dengan titik koma.

Parameter output tindakanModifyIndexAliases

Tindakan ini akan menampilkan status 200 (OK) jika tindakan tersebut berhasil.

Untuk memahami cara mengonfigurasi tindakan ModifyIndexAliases, lihat Contoh tindakan.

Tindakan ExecuteCustomQuery

Tindakan ini memungkinkan Anda menjalankan kueri kustom.

Untuk membuat kueri kustom, ikuti langkah-langkah berikut:

  1. Ikuti petunjuk mendetail untuk menambahkan tugas konektor.
  2. Saat Anda mengonfigurasi tugas konektor, pada jenis tindakan yang ingin dilakukan, pilih Tindakan.
  3. Dalam daftar Action, pilih Execute custom query, lalu klik Done.
  4. Luaskan bagian Task input, lalu lakukan tindakan berikut:
    1. Di kolom Timeout after, masukkan jumlah detik untuk menunggu hingga kueri dieksekusi.

      Nilai default: 180 detik.

    2. Di kolom Maximum number of rows, masukkan jumlah maksimum baris yang akan ditampilkan dari database.

      Nilai default: 25.

    3. Untuk memperbarui kueri kustom, klik Edit Kueri Kustom. Dialog Editor skrip akan terbuka.
    4. Dalam dialog Editor skrip, masukkan kueri SQL, lalu klik Simpan.

      Anda dapat menggunakan tanda tanya (?) dalam pernyataan SQL untuk mewakili satu parameter yang harus ditentukan dalam daftar parameter kueri. Misalnya, kueri SQL berikut memilih semua baris dari tabel Employees yang cocok dengan nilai yang ditentukan untuk kolom LastName:

      SELECT * FROM Employees where LastName=?

    5. Jika telah menggunakan tanda tanya dalam kueri SQL, Anda harus menambahkan parameter dengan mengklik + Tambahkan Nama Parameter untuk setiap tanda tanya. Saat menjalankan integrasi, parameter ini menggantikan tanda tanya (?) dalam kueri SQL secara berurutan. Misalnya, jika Anda telah menambahkan tiga tanda tanya (?), Anda harus menambahkan tiga parameter secara berurutan. Untuk menambahkan parameter kueri, lakukan tindakan berikut:
      1. Dari daftar Jenis, pilih jenis data parameter.
      2. Di kolom Nilai, masukkan nilai parameter.
      3. Untuk menambahkan beberapa parameter, klik + Tambahkan Parameter Kueri.

Setelah berhasil dieksekusi, tindakan ini akan menampilkan status 200 (OK) dengan isi respons yang memiliki hasil kueri.

Contoh tindakan

Bagian ini menjelaskan cara melakukan beberapa tindakan dalam konektor ini.

Contoh - Membuat indeks

Contoh ini akan membuat indeks.

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan CreateIndex, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
    {
    "Index": "new_index_1"
    }
  4. Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas CreateIndex akan memiliki nilai yang mirip dengan yang berikut:

    [{
    "CompletedBeforeTimeout": "true",
    "ShardsAcknowledged": "true",
    "IndexName": "new_index_1"
    }]

Contoh - Mengubah alias indeks

Contoh ini menunjukkan cara memodifikasi alias indeks.

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan ModifyIndexAliases, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
    {
    "Action": "remove_index",
    "Index": "postmanindex"
    }
  4. Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas ModifyIndexAliases akan memiliki nilai yang mirip dengan yang berikut:

    [{
    }]

Contoh operasi entitas

Bagian ini menunjukkan cara melakukan beberapa operasi entity di konektor ini.

Contoh - Menampilkan daftar semua catatan

Contoh ini mencantumkan semua data dalam entity Demoindex.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih Demoindex dari daftar Entity.
  3. Pilih operasi List, lalu klik Done.
  4. Secara opsional, di bagian Task Input pada tugas Connectors, Anda dapat memfilter kumpulan hasil dengan menentukan klausa filter. Tentukan nilai klausa filter selalu dalam tanda kutip tunggal (').

Contoh - Mendapatkan kumpulan data dari entity

Contoh ini mendapatkan data dengan ID yang ditentukan dari entity Demoindex.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih Demoindex dari daftar Entity.
  3. Pilih operasi Get, lalu klik Done.
  4. Di bagian Task Input pada tugas Connectors, klik EntityId lalu masukkan 23 di kolom Default Value.

    Di sini, 23 adalah ID data unik dalam entity Demoindex.

Contoh - Membuat data dalam entity

Contoh ini membuat data dalam entity Demoindex.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih Demoindex dari daftar Entity.
  3. Pilih operasi Create, lalu klik Done.
  4. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
    {
    "message": "GET /search HTTP/1.1 200 1070000",
    "@timestamp": "2099-11-15 13:12:00.0"
    }

    Jika integrasi berhasil, kolom connectorOutputPayload tugas konektor Anda akan memiliki nilai yang mirip dengan berikut ini:

    [{
    "_id": "23"
    }]

Contoh - Memperbarui data

Contoh ini memperbarui data dengan ID yang ditentukan dalam entity Demoindex.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih Demoindex dari daftar Entity.
  3. Pilih operasi Update, lalu klik Done.
  4. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
    {
    "message": "GET /search HTTP/1.1 200 1070000",
    "@timestamp": "2099-11-15 13:12:00.0",
    "name": "GoogleCloud_Update_docs",
    "price": 10.0}
  5. Klik entityId, lalu masukkan 23 di kolom Nilai Default.

    Jika integrasi berhasil, kolom connectorOutputPayload tugas konektor Anda akan memiliki nilai yang mirip dengan berikut ini:

    [{
    "_id": "23"
    }]

Contoh - Menghapus data dari entity

Contoh ini menghapus data dengan ID yang ditentukan dalam entity Demoindex.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih Demoindex dari daftar Entity.
  3. Pilih operasi Delete, lalu klik Done.
  4. Di bagian Task Input pada tugas Connectors, klik entityId, lalu masukkan pcqT4wB4uQNUCuamh4N di kolom Default Value.

Gunakan terraform untuk membuat koneksi

Anda dapat menggunakan resource Terraform untuk membuat koneksi baru.

Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform.

Untuk melihat contoh template terraform untuk pembuatan koneksi, lihat contoh template.

Saat membuat koneksi ini menggunakan Terraform, Anda harus menetapkan variabel berikut dalam file konfigurasi Terraform:

Nama parameter Jenis data Diperlukan Deskripsi
client_side_evaluation BOOLEAN Salah Tetapkan ClientSideEvaluation ke true untuk melakukan sisi klien Evaluation pada objek bertingkat.
data_model ENUM Salah Menentukan model data yang akan digunakan saat mengurai dokumen Elasticsearch dan membuat metadata database. Nilai yang didukung adalah: Document, FlattenedDocuments, Relational
max_results STRING Salah Jumlah total hasil maksimum yang akan ditampilkan dari Elasticsearch saat menggunakan Search API default.
panjang STRING Salah Tingkat panjang untuk koneksi, bervariasi dari 1-5. Tingkat panjang yang lebih tinggi akan mencatat semua detail komunikasi (sertifikat permintaan,respons & SSL).
proxy_enabled BOOLEAN Salah Pilih kotak centang ini untuk mengonfigurasi server proxy untuk koneksi.
proxy_auth_scheme ENUM Salah Jenis autentikasi yang akan digunakan untuk mengautentikasi ke proxy ProxyServer. Nilai yang didukung adalah: BASIC, DIGEST, NONE
proxy_user STRING Salah Nama pengguna yang akan digunakan untuk mengautentikasi ke proxy ProxyServer.
proxy_password SECRET Salah Sandi yang akan digunakan untuk mengautentikasi ke proxy ProxyServer.
proxy_ssltype ENUM Salah Jenis SSL yang akan digunakan saat menghubungkan ke proxy ProxyServer. Nilai yang didukung adalah: AUTO, ALWAYS, NEVER, WorkManager

Menggunakan koneksi Elasticsearch dalam integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Apigee Integration dan Application Integration. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Apigee, lihat Tugas konektor.
  • Untuk memahami cara membuat dan menggunakan tugas Konektor dalam Application Integration, lihat tugas konektor.

Dapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Cloud Forums.

Langkah selanjutnya