Azure Synapse

Konektor Azure Synapse memungkinkan Anda terhubung ke kumpulan SQL Azure Synapse serta menggunakan SQL untuk mengambil dan mengupdate data Azure Synapse.

Sebelum memulai

Sebelum menggunakan konektor Azure Synapse, lakukan tugas berikut:

• Di project Google Cloud Anda:
  • Memberikan peran IAM roles/connectors.admin kepada pengguna mengonfigurasi konektor.
  • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna yang perlu mengautentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk selengkapnya informasi, lihat Membuat akun layanan.

  • Aktifkan layanan berikut:
    • secretmanager.googleapis.com (Secret Manager API)
    • connectors.googleapis.com (API Konektor)

    Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

  Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Mengonfigurasi konektor mengharuskan Anda membuat koneksi ke sumber data (sistem backend). Koneksi bersifat khusus untuk sumber data. Ini berarti bahwa jika Anda memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan langkah-langkah berikut:

1. Di Konsol Cloud, buka Integration Connectors > Halaman Koneksi lalu pilih atau buat project Google Cloud.

   Buka halaman Koneksi

2. Klik + Create new untuk membuka halaman Create Connection.
3. Di bagian Lokasi, pilih lokasi untuk koneksi.
   1. Region: Pilih lokasi dari menu drop-down.

      Wilayah yang didukung untuk konektor meliputi:

      Untuk mengetahui daftar semua wilayah yang didukung, lihat Lokasi.

   2. Klik Berikutnya.
4. Di bagian Connection Details, selesaikan langkah-langkah berikut:
   1. Konektor: Pilih Azure Synapse dari menu drop-down Konektor yang tersedia.
   2. Versi konektor: Pilih versi Konektor dari menu drop-down versi yang tersedia.
   3. Di kolom Connection Name, masukkan nama untuk instance Koneksi.

      Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus huruf kecil.
      • Nama koneksi harus dimulai dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh lebih dari 63 karakter.
   4. Jika perlu, masukkan Deskripsi untuk instance koneksi.
   5. Akun Layanan: Pilih akun layanan yang memiliki peran yang diperlukan.
   6. Anda juga dapat mengonfigurasi Setelan node koneksi:
      • Jumlah minimum node: Masukkan jumlah minimum node koneksi.
      • Jumlah maksimum node: Masukkan jumlah maksimum node koneksi.

      Simpul adalah unit (atau replika) koneksi yang memproses transaksi. Diperlukan lebih banyak {i>node<i} untuk memproses lebih banyak transaksi untuk koneksi dan sebaliknya, lebih sedikit node yang diperlukan untuk memproses lebih sedikit transaksi. Untuk memahami pengaruh node terhadap harga konektor Anda, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

   Catatan: Anda dapat menyesuaikan nilai node koneksi hanya jika Anda pelanggan Bayar sesuai penggunaan.
   7. Azure Tenant: Properti ini menentukan tenant Microsoft Azure yang digunakan untuk mengakses data.
   8. Database: Properti ini menentukan Nama database Synapse di kumpulan sql serverless atau kumpulan sql khusus .
   9. Di bagian Tujuan, masukkan properti berikut:
   • Destination Type: Pilih Host Addrress dari drop-down
   • Host 1: Masukkan endpoint sql pool
   • Port 1: Masukkan port untuk endpoint sql
   .
   10. Secara opsional, masukkan properti berikut untuk SSL:
       • Aktifkan SSL: Properti kotak centang ini menentukan apakah akan mengaktifkan SSL.
       • Trust Store: Properti ini menentukan trust store. Anda dapat memilih tombol pilihan untuk memilih trust store dari Pubic, Private, atau Insecure Connection.
       • Trust Store Kustom: Properti ini digunakan untuk memilih rahasia yang berisi trust store kustom dalam format PEM.
       • Sertifikat Klien SSL: Properti ini menentukan sertifikat klien SSL.
       • Kunci Pribadi Klien SSL: Properti ini menentukan kunci pribadi klien SSL dalam format PEM.
       • Frasa Sandi Kunci Sertifikat Klien SSL: Properti ini menentukan frasa sandi kunci pribadi klien SSL.
   11. Anda juga dapat mengklik + Add label untuk menambahkan label ke Koneksi dalam bentuk key-value pair.
   12. Klik Berikutnya.
5. Di bagian Authentication, masukkan detail autentikasi.
   1. Pilih Jenis autentikasi, lalu masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi Azure Synapse:

      • Sandi Pengguna
      • Azure AD

   Untuk memahami cara mengonfigurasi jenis autentikasi ini, lihat Mengonfigurasi autentikasi.

   2. Klik Berikutnya.
6. Peninjauan: Tinjau detail koneksi dan autentikasi Anda.
7. Klik Create.

Mengonfigurasi autentikasi

Masukkan detail berdasarkan autentikasi yang ingin Anda gunakan.

• Sandi Pengguna
  • User Name: Masukkan nama pengguna database.
  • Sandi: Rahasia Secret Manager yang berisi sandi yang terkait dengan nama pengguna.

• IKLAN Azure
  • Client ID: Client ID yang digunakan untuk meminta token akses. Ini dapat ditemukan dalam ringkasan aplikasi terhubung yang dibuat di portal Azure.
  • Cakupan:Daftar cakupan yang diinginkan yang dipisahkan koma.
  • Rahasia Klien: Rahasia Secret Manager yang berisi Kunci Akses Akun.
  • URL otorisasi: URL otorisasi yang dibuat saat membuat klien.

Langkah tambahan setelah pembuatan koneksi

Jika Anda memilih OAuth 2.0 - Authorization code untuk autentikasi, Anda harus melakukan langkah-langkah tambahan berikut setelah membuat koneksi:

1. Di halaman Koneksi, menemukan koneksi yang baru dibuat.

   Perhatikan bahwa Status untuk konektor baru adalah Authorization required.

2. Klik Diperlukan otorisasi.

   Tindakan ini akan menampilkan panel Edit authorization.

3. Salin nilai Redirect URI ke aplikasi eksternal Anda.
4. Verifikasi detail otorisasi.
5. Klik Otorisasi.

   Jika otorisasi berhasil, status koneksi akan disetel ke Aktif di Halaman Koneksi.

Otorisasi ulang untuk kode otorisasi

Jika Anda menggunakan jenis autentikasi Authorization code dan telah membuat perubahan kofigurasi di aplikasi Azure Synapse, Anda harus mengizinkan ulang koneksi Azure Synapse Anda. Untuk mengizinkan ulang koneksi, lakukan langkah-langkah berikut:

1. Klik koneksi yang diperlukan di halaman Koneksi.

   Tindakan ini akan membuka halaman detail koneksi.

2. Klik Edit untuk mengedit detail koneksi.
3. Verifikasi detail OAuth 2.0 - Kode otorisasi di bagian Autentikasi.

   Jika diperlukan, lakukan perubahan yang diperlukan.

4. Klik Simpan. Tindakan ini akan mengarahkan Anda ke halaman detail koneksi.
5. Klik Edit authorization di bagian Authentication. Tindakan ini akan menampilkan panel Authorize.
6. Klik Otorisasi.

   Jika otorisasi berhasil, status koneksi akan disetel ke Aktif di halaman Koneksi.

Entity, operasi, dan tindakan

Semua Integration Connectors menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ini diekspos kepada Anda sebagai entity, operasi, dan tindakan.

Catatan: Anda dapat melihat entitas, operasi, dan tindakan Connector di tugas Connectors.

• Entitas: Entitas dapat dianggap sebagai objek, atau kumpulan properti, di aplikasi atau layanan yang terhubung. Definisi entitas berbeda dari konektor ke entitas konektor 20%. Misalnya, dalam konektor {i>database<i}, tabel adalah entitas, dalam konektor server file, folder adalah entitas, dan dalam konektor sistem pesan, antrean adalah entitas.

  Namun, mungkin saja konektor tidak mendukung atau memiliki entitas apa pun. Dalam hal ini, Daftar Entities akan kosong.

• Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entitas. Anda dapat melakukan salah satu operasi berikut pada entitas:
  • Cantumkan
  • Dapatkan
  • Buat
  • Update
  • Hapus

  Memilih sebuah entitas dari daftar yang tersedia akan menghasilkan daftar yang tersedia untuk entity tersebut. Untuk deskripsi operasi yang terperinci, lihat tugas Konektor operasi entity. Namun, jika konektor tidak mendukung operasi entity apa pun, seperti operasi tidak tercantum dalam daftar Operations.

• Tindakan: Tindakan adalah fungsi kelas pertama yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada suatu entitas atau beberapa entitas, dan bervariasi dari satu konektor ke konektor lainnya. Biasanya, suatu tindakan akan memiliki beberapa parameter input, dan output . Namun, mungkin saja bahwa konektor tidak mendukung tindakan apa pun, dalam hal ini daftar Actions akan kosong.

Catatan: Semua entitas dan tindakan akan memiliki skema yang terkait dengannya. Misalnya, skema tindakan akan memiliki detail parameter seperti; parameter nama, dan tipe datanya yang sesuai. Skema (metadata) untuk entity dan tindakan diambil oleh koneksi di runtime dari backend Anda. Jika ada pembaruan pada skema, pembaruan tersebut tidak akan secara otomatis tercermin dalam koneksi Anda yang sudah ada; Anda harus memperbarui skema secara manual. Untuk memuat ulang skema untuk koneksi, buka halaman Connection details dari koneksi, lalu klik Muat ulang skema koneksi.

Keterbatasan sistem

Konektor Azure Synapse dapat memproses maksimum 4 transaksi per detik, per node, dan men-throttle semua transaksi di luar batas ini. Secara default, Integration Connectors mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk sebuah koneksi.

Untuk informasi tentang batas yang berlaku bagi Konektor Integrasi, lihat Batas.

Catatan: Jumlah node Konektor Integrasi akan otomatis diskalakan secara dinamis berdasarkan penggunaan Anda. Namun, jika Anda ingin mencadangkan kapasitas untuk volume besar tanpa menunggu penskalaan otomatis, Anda dapat menyesuaikan nilai node minimum untuk koneksi. Selengkapnya {i>node<i} diperlukan untuk memproses lebih banyak transaksi untuk sebuah koneksi. Sebaliknya, lebih sedikit {i>node<i} diperlukan jika koneksi memproses lebih sedikit transaksi. Untuk mengonfigurasi node nilai tersebut, lakukan hal berikut:

• Jika Anda adalah pelanggan bayar sesuai penggunaan, konfigurasikan nilai node minimum dan maksimum di halaman edit koneksi.
• Jika Anda berbasis langganan pelanggan, hubungi dukungan.

Transaksi maksimum yang dapat ditangani node bergantung pada berbagai faktor. Jadi, sebelum menyesuaikan node minimum untuk throughput yang lebih baik, sebaiknya periksa apakah sistem backend Anda sudah disiapkan secara optimal untuk menangani traffic yang diperlukan.

Jenis data yang didukung

Berikut adalah jenis data yang didukung untuk konektor ini:

• BIGINT
• BINARY
• BIT
• CHAR
• DATE
• DATETIME
• DATETIME2
• DATETIMEOFFSET
• DECIMAL
• FLOAT
• DECIMAL
• FLOAT
• INT
• UANG
• NCHAR
• NVARCHAR
• NYATA
• LSEG
• KECILDATETIME
• SMALLINT
• UANG KECIL
• TINYINT
• UNIKIDENTIFIER
• VARBINARY
• VARCHAR

Tindakan

Dengan konektor Azure Synapse, Anda dapat menjalankan prosedur yang tersimpan dan SQL kustom dalam format yang didukung oleh Azure Synapse. Untuk mengeksekusi kueri SQL kustom, konektor menyediakan opsi Menjalankan kueri kustom tindakan.

Untuk membuat kueri kustom, ikuti langkah-langkah berikut:

1. Ikuti petunjuk mendetail untuk menambahkan tugas konektor.
2. Saat mengonfigurasi tugas konektor, untuk jenis tindakan yang ingin Anda lakukan, pilih Tindakan.
3. Dalam daftar Action, pilih Execute custom query, lalu klik Done.

   

4. Luaskan bagian Task input, lalu lakukan hal berikut:
   1. Di kolom Timeout after, masukkan jumlah detik untuk menunggu hingga kueri dijalankan.

      Nilai default: 180 detik.

   2. Di kolom Jumlah baris maksimum, masukkan jumlah baris maksimum yang akan ditampilkan dari database.

      Nilai default: 25.

   3. Untuk memperbarui kueri kustom, klik Edit Skrip Kustom. Dialog Editor skrip akan terbuka.

      

   4. Dalam dialog Script editor, masukkan kueri SQL, lalu klik Save.

      Anda dapat menggunakan tanda tanya (?) dalam pernyataan SQL untuk mewakili satu parameter yang harus ditentukan dalam daftar parameter kueri. Misalnya, kueri SQL berikut memilih semua baris dari tabel Employees yang cocok dengan nilai yang ditentukan untuk kolom LastName:

      SELECT * FROM Employees where LastName=?

      Catatan: Pernyataan bahasa manipulasi data (DML) dan bahasa definisi data (DDL) didukung.
   5. Jika Anda telah menggunakan tanda tanya dalam kueri SQL, Anda harus menambahkan parameter dengan mengklik + Tambahkan Nama Parameter untuk setiap tanda tanya. Saat menjalankan integrasi, parameter ini menggantikan tanda tanya (?) dalam kueri SQL secara berurutan. Misalnya, jika Anda menambahkan tiga tanda tanya (?), Anda harus menambahkan tiga parameter secara berurutan.

      

      Untuk menambahkan parameter kueri, lakukan hal berikut:

      1. Dari daftar Jenis, pilih jenis data parameter.
      2. Di kolom Nilai, masukkan nilai parameter.
      3. Untuk menambahkan beberapa parameter, klik + Tambahkan Parameter Kueri.

Contoh operasi entity

Contoh - Membuat daftar catatan entity

Contoh ini mencantumkan kumpulan data entity Users.

1. Dalam dialog Configure connector task, klik Entities.
2. Pilih Users dari daftar Entity.
3. Pilih operasi List, lalu klik Selesai.
4. Di bagian Input Tugas pada tugas Konektor, Anda dapat menetapkan filterClause sesuai kebutuhan Anda.

   Misalnya, menyetel klausa filter ke employeeCode='5100' and startDate='2010-01-01 00:00:00', hanya mencantumkan data tersebut yang employeeCode adalah 5100 dan startDate adalah 2010-01-01 00:00:00.

Contoh - Mendapatkan satu data dari entity

Contoh ini mengambil data dari entity Users.

1. Dalam dialog Configure connector task, klik Entities.
2. Pilih User dari daftar Entity.
3. Pilih operasi Get, lalu klik Selesai.
4. Di bagian Task Input pada tugas Connectors, klik entityId, lalu lalu masukkan 103032 di kolom Nilai Default.

   Di sini, 103032 adalah nilai kunci utama dari entity Users.

Contoh - Menghapus data dari entity

Contoh ini menghapus data dari entity Users.

1. Dalam dialog Configure connector task, klik Entities.
2. Pilih Users dari daftar Entity.
3. Pilih operasi Delete, lalu klik Selesai.
4. Di bagian Task Input pada tugas Connectors, klik entityId, lalu lalu masukkan 113132 di kolom Nilai Default.

   Atau, jika entitas memiliki kunci utama gabungan, bukan menentukan entityId, Anda dapat tetapkan filterClause. Misalnya, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Contoh - Membuat data dalam entity

Contoh ini membuat data dalam entity Users.

1. Dalam dialog Configure connector task, klik Entities.
2. Pilih Users dari daftar Entity.
3. Pilih operasi Create, lalu klik Done.
4. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut ini di Kolom Default Value:

   {
   "employeeCode": "5100",
   "startDate": "2010-01-01 00:00:00.0",
   "country": "US"
   }
   

Jika integrasi berhasil, kolom connectorOutputPayload tugas konektor akan memiliki respons operasi {i>create<i}.

Contoh - Memperbarui data dalam entity

Contoh ini memperbarui data dalam entity Users.

1. Dalam dialog Configure connector task, klik Entities.
2. Pilih Users dari daftar Entity.
3. Pilih operasi Update, lalu klik Done.
4. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut ini di Kolom Default Value:

   {
   "country": "IN"
   }

5. Di bagian Task Input pada tugas Connectors, klik entityId, lalu lalu masukkan 113132 di kolom Nilai Default.

   Atau, jika entitas memiliki kunci utama gabungan, bukan menentukan entityId, Anda dapat tetapkan filterClause. Misalnya, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Jika integrasi berhasil, kolom connectorOutputPayload tugas konektor akan memiliki respons operasi update.

Menggunakan koneksi Azure Synapse dalam integrasi

Setelah dibuat, koneksi akan tersedia di Integrasi Apigee dan Application Integration. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Connectors.

• Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Apigee, lihat Tugas konektor.
• Untuk memahami cara membuat dan menggunakan tugas Konektor di Application Integration, lihat Tugas konektor.

Dapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di Google Cloud di Forum Cloud.

Langkah selanjutnya

• Pahami cara menangguhkan dan melanjutkan koneksi.
• Pahami cara memantau penggunaan konektor.
• Memahami cara melihat log konektor.