Azure Synapse

Konektor Azure Synapse memungkinkan Anda terhubung ke kumpulan SQL Azure Synapse dan menggunakan SQL untuk mengambil serta memperbarui data Azure Synapse.

Sebelum memulai

Sebelum menggunakan konektor Azure Synapse, lakukan tugas berikut:

• Di project Google Cloud Anda:
  • Pastikan konektivitas jaringan sudah disiapkan. Untuk mengetahui informasi tentang pola jaringan, lihat Konektivitas jaringan.
  • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
  • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu diautentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk informasi selengkapnya, lihat Membuat akun layanan.

  • Aktifkan layanan berikut:
    • secretmanager.googleapis.com (Secret Manager API)
    • connectors.googleapis.com (Connectors API)

    Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

  Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Untuk mengonfigurasi konektor, Anda harus membuat koneksi ke sumber data (sistem backend). Koneksi bersifat khusus untuk sumber data. Artinya, jika memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan langkah-langkah berikut:

1. Di konsol Cloud, buka halaman Konektor Integrasi > Koneksi, lalu pilih atau buat project Google Cloud.

   Buka halaman Koneksi

2. Klik + Buat baru untuk membuka halaman Buat Koneksi.
3. Di bagian Location, pilih lokasi untuk koneksi.
   1. Region: Pilih lokasi dari menu drop-down.

      Region yang didukung untuk konektor meliputi:

      Untuk mengetahui daftar semua region yang didukung, lihat Lokasi.

   2. Klik Berikutnya.
4. Di bagian Connection Details, selesaikan tindakan berikut:
   1. Konektor: Pilih Azure Synapse dari menu drop-down Konektor yang tersedia.
   2. Versi konektor: Pilih versi Konektor dari menu drop-down versi yang tersedia.
   3. Di kolom Connection Name, masukkan nama untuk instance Connection.

      Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus berupa huruf kecil.
      • Nama koneksi harus diawali dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh melebihi 49 karakter.
   4. Secara opsional, masukkan Deskripsi untuk instance koneksi.
   5. Service Account: Pilih akun layanan yang memiliki peran yang diperlukan.
   6. Secara opsional, konfigurasikan Setelan node koneksi:
      • Jumlah node minimum: Masukkan jumlah minimum node koneksi.
      • Maximum number of nodes: Masukkan jumlah maksimum node koneksi.

      Node adalah unit (atau replika) koneksi yang memproses transaksi. Semakin banyak node yang diperlukan untuk memproses lebih banyak transaksi untuk koneksi, dan sebaliknya, semakin sedikit node yang diperlukan untuk memproses lebih sedikit transaksi. Untuk memahami pengaruh node terhadap harga konektor, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default, node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

   Catatan: Anda hanya dapat menyesuaikan nilai node koneksi jika merupakan pelanggan Bayar sesuai penggunaan.
   7. Azure Tenant: Properti ini menentukan tenant Microsoft Azure yang digunakan untuk mengakses data.
   8. Database: Properti ini menentukan nama database Synapse di kumpulan sql serverless atau kumpulan sql khusus .
   9. Di bagian Tujuan, masukkan properti berikut:
   • Jenis Tujuan: Pilih Alamat Host dari drop-down
   • Host 1: Masukkan endpoint kumpulan sql
   • Port 1: Masukkan port untuk endpoint sql
   .
   10. Secara opsional, masukkan properti berikut untuk SSL:
       • Enable SSL: Properti kotak centang ini menentukan apakah akan mengaktifkan SSL.
       • Trust Store: Properti ini menentukan trust store. Anda dapat memilih tombol pilihan untuk memilih trust store dari Koneksi Publik, Pribadi, atau Tidak Aman.
       • Custom Trust Store: Properti ini digunakan untuk memilih secret yang berisi custom trust store dalam format PEM.
       • SSL Client Certificate: Properti ini menentukan sertifikat klien SSL.
       • SSL Client Private Key: Properti ini menentukan kunci pribadi klien SSL dalam format PEM.
       • SSL Client Certificate Key Passphrase: Properti ini menentukan frasa sandi kunci pribadi klien SSL.
   11. Secara opsional, klik + Tambahkan label untuk menambahkan label ke Koneksi dalam bentuk pasangan nilai kunci.
   12. Klik Berikutnya.
5. Di bagian Authentication, masukkan detail autentikasi.
   1. Pilih Jenis autentikasi dan masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi Azure Synapse:

      • Sandi Pengguna
      • Azure AD

   Untuk memahami cara mengonfigurasi jenis autentikasi ini, lihat Mengonfigurasi autentikasi.

   2. Klik Berikutnya.
6. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
7. Klik Create.

Mengonfigurasi autentikasi

Masukkan detail berdasarkan autentikasi yang ingin Anda gunakan.

• Sandi Pengguna
  • Nama Pengguna: Masukkan nama pengguna database.
  • Sandi: Secret Secret Manager yang berisi sandi yang terkait dengan nama pengguna.

• Azure AD
  • Client ID: Client ID yang digunakan untuk meminta token akses. Hal ini dapat ditemukan di ringkasan aplikasi terhubung yang dibuat di portal Azure.
  • Cakupan:Daftar cakupan yang diinginkan yang dipisahkan koma.
  • Rahasia Klien: Rahasia Secret Manager yang berisi Kunci Akses Akun.
  • Authorization URL: URL otorisasi yang dibuat saat membuat klien.

Langkah-langkah tambahan setelah pembuatan koneksi

Jika memilih OAuth 2.0 - Authorization code untuk autentikasi, Anda harus melakukan langkah-langkah tambahan berikut setelah membuat koneksi:

1. Di halaman Koneksi, cari koneksi yang baru dibuat.

   Perhatikan bahwa Status untuk konektor baru akan menjadi Otorisasi diperlukan.

2. Klik Otorisasi diperlukan.

   Tindakan ini akan menampilkan panel Edit otorisasi.

3. Salin nilai Redirect URI ke aplikasi eksternal Anda.
4. Verifikasi detail otorisasi.
5. Klik Otorisasi.

   Jika otorisasi berhasil, status koneksi akan disetel ke Aktif di halaman Koneksi.

Otorisasi ulang untuk kode otorisasi

Jika menggunakan jenis autentikasi Authorization code dan telah melakukan perubahan konfigurasi apa pun di aplikasi Azure Synapse, Anda harus memberikan otorisasi ulang ke koneksi Azure Synapse. Untuk memberikan otorisasi ulang pada koneksi, lakukan langkah-langkah berikut:

1. Klik koneksi yang diperlukan di halaman Koneksi.

   Tindakan ini akan membuka halaman detail koneksi.

2. Klik Edit untuk mengedit detail koneksi.
3. Verifikasi detail OAuth 2.0 - Authorization code di bagian Authentication.

   Jika diperlukan, buat perubahan yang diperlukan.

4. Klik Simpan. Tindakan ini akan mengarahkan Anda ke halaman detail koneksi.
5. Klik Edit authorization di bagian Authentication. Tindakan ini akan menampilkan panel Authorize.
6. Klik Otorisasi.

   Jika otorisasi berhasil, status koneksi akan disetel ke Aktif di halaman Koneksi.

Entity, operasi, dan tindakan

Semua Konektor Integrasi menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ditampilkan kepada Anda sebagai entitas, operasi, dan tindakan.

Catatan: Anda dapat melihat entity, operasi, dan tindakan konektor di tugas Konektor.

• Entity: Entity dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entitas berbeda dari konektor ke konektor. Misalnya, dalam konektor database, tabel adalah entitas, dalam konektor server file, folder adalah entitas, dan dalam konektor sistem pesan, antrean adalah entitas.

  Namun, mungkin konektor tidak mendukung atau memiliki entity apa pun, dalam hal ini, daftar Entities akan kosong.

• Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan salah satu operasi berikut pada entitas:
  • Cantumkan
  • Dapatkan
  • Buat
  • Update
  • Hapus

  Memilih entitas dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entitas tersebut. Untuk deskripsi mendetail tentang operasi, lihat operasi entity tugas Konektor. Namun, jika konektor tidak mendukung operasi entitas apa pun, operasi yang tidak didukung tersebut tidak akan tercantum dalam daftar Operations.

• Tindakan: Tindakan adalah fungsi kelas satu yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan bervariasi dari satu konektor ke konektor lainnya. Biasanya, tindakan akan memiliki beberapa parameter input, dan parameter output. Namun, konektor mungkin tidak mendukung tindakan apa pun, dalam hal ini daftar Actions akan kosong.

Catatan: Semua entitas dan tindakan akan memiliki skema yang terkait dengannya. Misalnya, skema tindakan akan memiliki detail parameter seperti; nama parameter, dan jenis data yang sesuai. Skema (metadata) untuk entity dan tindakan diambil oleh koneksi saat runtime dari backend Anda. Jika ada pembaruan pada skema, pembaruan tersebut tidak akan otomatis ditampilkan di koneksi yang ada; Anda harus memuat ulang skema secara manual. Untuk memuat ulang skema koneksi, buka halaman Connection details koneksi, lalu klik Refresh connection schema.

Batasan sistem

Konektor Azure Synapse dapat memproses maksimum 4 transaksi per detik, per node, dan mencegah transaksi apa pun yang melebihi batas ini. Secara default, Konektor Integrasi mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk koneksi.

Untuk mengetahui informasi tentang batas yang berlaku untuk Konektor Integrasi, lihat Batas.

Catatan: Jumlah node Konektor Integrasi akan diskalakan secara otomatis secara dinamis berdasarkan penggunaan Anda. Namun, jika ingin mencadangkan kapasitas untuk volume besar tanpa menunggu penskalaan otomatis, Anda dapat menyesuaikan nilai node minimum untuk koneksi. Diperlukan lebih banyak node untuk memproses lebih banyak transaksi untuk koneksi. Sebaliknya, lebih sedikit node yang diperlukan jika koneksi memproses lebih sedikit transaksi. Untuk mengonfigurasi nilai node, lakukan hal berikut:

• Jika Anda adalah pelanggan bayar sesuai penggunaan, konfigurasikan nilai node minimum dan maksimum di halaman edit koneksi.
• Jika Anda adalah pelanggan berbasis langganan, hubungi dukungan.

Transaksi maksimum yang dapat ditangani node bergantung pada berbagai faktor. Jadi, sebelum menyesuaikan node minimum untuk throughput yang lebih baik, sebaiknya periksa apakah sistem backend Anda disiapkan secara optimal untuk menangani traffic yang diperlukan.

Jenis data yang didukung

Berikut adalah jenis data yang didukung untuk konektor ini:

• BIGINT
• BINARY
• BIT
• CHAR
• DATE
• DATETIME
• DATETIME2
• DATETIMEOFFSET
• DECIMAL
• FLOAT
• DECIMAL
• FLOAT
• INT
• UANG
• NCHAR
• NVARCHAR
• REAL
• LSEG
• SMALLDATETIME
• SMALLINT
• SMALLMONEY
• TINYINT
• UNIQUEIDENTIFIER
• VARBINARY
• VARCHAR

Tindakan

Konektor Azure Synapse memungkinkan Anda menjalankan prosedur tersimpan dan kueri SQL kustom dalam format yang didukung oleh Azure Synapse. Untuk menjalankan kueri SQL kustom, konektor menyediakan tindakan Execute custom query.

Untuk membuat kueri kustom, ikuti langkah-langkah berikut:

1. Ikuti petunjuk mendetail untuk menambahkan tugas konektor.
2. Saat Anda mengonfigurasi tugas konektor, pilih Tindakan pada jenis tindakan yang ingin Anda lakukan.
3. Dalam daftar Action, pilih Execute custom query, lalu klik Done.

   

4. Luaskan bagian Task input, lalu lakukan hal berikut:
   1. Di kolom Waktu tunggu setelah, masukkan jumlah detik untuk menunggu hingga kueri dieksekusi.

      Nilai default: 180 detik.

   2. Di kolom Jumlah baris maksimum, masukkan jumlah baris maksimum yang akan ditampilkan dari database.

      Nilai default: 25.

   3. Untuk memperbarui kueri kustom, klik Edit Skrip Kustom. Dialog Script editor akan terbuka.

      

   4. Di dialog Editor skrip, masukkan kueri SQL, lalu klik Simpan.

      Anda dapat menggunakan tanda tanya (?) dalam pernyataan SQL untuk mewakili satu parameter yang harus ditentukan dalam daftar parameter kueri. Misalnya, kueri SQL berikut memilih semua baris dari tabel Employees yang cocok dengan nilai yang ditentukan untuk kolom LastName:

      SELECT * FROM Employees where LastName=?

      Catatan: Pernyataan bahasa manipulasi data (DML) dan bahasa definisi data (DDL) didukung.
   5. Jika telah menggunakan tanda tanya dalam kueri SQL, Anda harus menambahkan parameter dengan mengklik + Tambahkan Nama Parameter untuk setiap tanda tanya. Saat menjalankan integrasi, parameter ini akan mengganti tanda tanya (?) dalam kueri SQL secara berurutan. Misalnya, jika telah menambahkan tiga tanda tanya (?), Anda harus menambahkan tiga parameter dalam urutan.

      

      Untuk menambahkan parameter kueri, lakukan tindakan berikut:

      1. Dari daftar Type, pilih jenis data parameter.
      2. Di kolom Value, masukkan nilai parameter.
      3. Untuk menambahkan beberapa parameter, klik + Tambahkan Parameter Kueri.

Contoh operasi entity

Contoh - Mencantumkan data entitas

Contoh ini mencantumkan data entity Users.

1. Pada dialog Configure connector task, klik Entities.
2. Pilih Users dari daftar Entity.
3. Pilih operasi List, lalu klik Selesai.
4. Di bagian Task Input pada tugas Connectors, Anda dapat menetapkan filterClause sesuai kebutuhan Anda.

   Misalnya, menetapkan klausa filter ke employeeCode='5100' and startDate='2010-01-01 00:00:00', hanya mencantumkan data yang employeeCode-nya adalah 5100 dan startDate-nya adalah 2010-01-01 00:00:00.

Contoh - Mendapatkan satu kumpulan data dari entity

Contoh ini mengambil data dari entity Users.

1. Pada dialog Configure connector task, klik Entities.
2. Pilih User dari daftar Entity.
3. Pilih operasi Get, lalu klik Selesai.
4. Di bagian Task Input pada tugas Connectors, klik entityId, lalu masukkan 103032 di kolom Default Value.

   Di sini, 103032 adalah nilai kunci utama entity Users.

Contoh - Menghapus data dari entity

Contoh ini menghapus data dari entity Users.

1. Pada dialog Configure connector task, klik Entities.
2. Pilih Users dari daftar Entity.
3. Pilih operasi Delete, lalu klik Selesai.
4. Di bagian Task Input pada tugas Connectors, klik entityId, lalu masukkan 113132 di kolom Default Value.

   Atau, jika entitas memiliki kunci utama gabungan, bukan menentukan entityId, Anda dapat menetapkan filterClause. Misalnya, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Contoh - Membuat kumpulan data dalam entity

Contoh ini membuat data di entitas Users.

1. Pada dialog Configure connector task, klik Entities.
2. Pilih Users dari daftar Entity.
3. Pilih operasi Create, lalu klik Done.
4. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "employeeCode": "5100",
   "startDate": "2010-01-01 00:00:00.0",
   "country": "US"
   }

Jika integrasi berhasil, kolom connectorOutputPayload tugas konektor akan memiliki respons operasi pembuatan.

Contoh - Memperbarui data dalam entity

Contoh ini memperbarui data di entity Users.

1. Pada dialog Configure connector task, klik Entities.
2. Pilih Users dari daftar Entity.
3. Pilih operasi Update, lalu klik Done.
4. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "country": "IN"
   }

5. Di bagian Task Input pada tugas Connectors, klik entityId, lalu masukkan 113132 di kolom Default Value.

   Atau, jika entitas memiliki kunci utama gabungan, bukan menentukan entityId, Anda dapat menetapkan filterClause. Misalnya, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Jika integrasi berhasil, kolom connectorOutputPayload tugas konektor akan memiliki respons operasi pembaruan.

Menggunakan koneksi Azure Synapse dalam integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Integration Apigee dan Integration Aplikasi. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

• Untuk memahami cara membuat dan menggunakan tugas Konektor di Apigee Integration, lihat Tugas konektor.
• Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Aplikasi, lihat Tugas konektor.

Mendapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Cloud Forums.

Langkah selanjutnya

• Pahami cara menangguhkan dan melanjutkan koneksi.
• Pahami cara memantau penggunaan konektor.
• Pahami cara melihat log konektor.