Azure Data Lake Storage

Konektor Azure Data Lake Storage memungkinkan Anda terhubung ke Azure Data Lake Storage dan menggunakan SQL untuk mengambil serta memperbarui data Azure Data Lake Storage.

Sebelum memulai

Sebelum menggunakan konektor Azure Data Lake Storage, lakukan tugas berikut:

• Di project Google Cloud Anda:
  • Pastikan konektivitas jaringan telah disiapkan. Untuk mengetahui informasi tentang pola jaringan, lihat Konektivitas jaringan.
  • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
  • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu diautentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika Anda tidak memiliki akun layanan, Anda harus membuat akun layanan. Konektor dan akun layanan harus berada dalam project yang sama. Untuk mengetahui informasi selengkapnya, lihat Membuat akun layanan.

  • Aktifkan layanan berikut:
    • secretmanager.googleapis.com (Secret Manager API)
    • connectors.googleapis.com (Connectors API)

    Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

  Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

• Untuk mengetahui informasi tentang cara membuat akun penyimpanan Azure, lihat Membuat akun penyimpanan. Untuk mengetahui informasi tentang cara membuat container di Azure, lihat Membuat container. Untuk mengetahui informasi tentang cara membuat direktori di Azure, lihat Membuat direktori.

Mengonfigurasi konektor

Koneksi khusus untuk sumber data. Artinya, jika Anda memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan hal berikut:

1. Di Konsol Cloud, buka halaman Integration Connectors > Connections lalu pilih atau buat project Google Cloud.

   Buka halaman Koneksi

2. Klik + Buat baru untuk membuka halaman Buat Koneksi.
3. Di bagian Location, pilih lokasi untuk koneksi.
   1. Region: Pilih lokasi dari menu drop-down.

      Region yang didukung untuk konektor meliputi:

      Untuk mengetahui daftar semua region yang didukung, lihat Lokasi.

   2. Klik Berikutnya.
4. Di bagian Detail Koneksi, selesaikan langkah-langkah berikut:
   1. Konektor: Pilih Azure Data Lake Storage dari daftar drop-down Konektor yang tersedia.
   2. Versi konektor: Pilih Versi konektor dari daftar drop-down versi yang tersedia.
   3. Di kolom Connection Name, masukkan nama untuk instance Koneksi.

      Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus berupa huruf kecil.
      • Nama koneksi harus diawali dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh melebihi 49 karakter.
   4. Secara opsional, masukkan Deskripsi untuk instance koneksi.
   5. Secara opsional, aktifkan Cloud Logging, lalu pilih level log. Secara default, level log ditetapkan ke Error.
   6. Akun Layanan: Pilih akun layanan yang memiliki peran yang diperlukan.
   7. Jika perlu, konfigurasikan Setelan node koneksi:
      • Jumlah minimum node: Masukkan jumlah minimum node koneksi.
      • Jumlah node maksimum: Masukkan jumlah maksimum node koneksi.

      Node adalah unit (atau replika) koneksi yang memproses transaksi. Jumlah node yang diperlukan untuk memproses lebih banyak transaksi untuk suatu koneksi akan bertambah dan sebaliknya, jumlah node yang diperlukan untuk memproses lebih sedikit transaksi akan berkurang. Untuk memahami pengaruh node terhadap harga konektor, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

   Catatan: Anda hanya dapat menyesuaikan nilai node koneksi jika Anda adalah pelanggan dengan model pembayaran sesuai penggunaan.
   8. Akun: Properti ini menentukan nama akun Azure Data Lake Storage.
   9. Direktori: Properti ini menentukan jalur root untuk mencantumkan file dan folder.
   10. Sistem File: Properti ini menentukan nama FileSystem yang akan digunakan di akun penyimpanan Gen 2. Misalnya, nama container blob Azure Anda.
   11. Ukuran Potongan: Ukuran potongan (dalam MB) yang akan digunakan saat mengupload file besar.
   12. Include Sub Directories: Pilih apakah jalur subdirektori harus dicantumkan dalam tampilan Resources di Skema ADLSGen2.
   13. Atau, klik + Tambahkan label untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci/nilai.
   14. Klik Berikutnya.
5. Di bagian Authentication, masukkan detail autentikasi.
   1. Pilih Jenis autentikasi dan masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi Azure Data Lake Storage:

      • Tanda Tangan Akses Bersama
      • Kunci Akses Akun
      • Autentikasi JWT

   Untuk memahami cara mengonfigurasi jenis autentikasi ini, lihat Mengonfigurasi autentikasi.

   2. Klik Berikutnya.
6. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
7. Klik Buat.

Mengonfigurasi autentikasi

Masukkan detail berdasarkan autentikasi yang ingin Anda gunakan.

• Shared Access Signature
  • Shared Access Signature: Secret Manager Secret yang berisi Shared Access Signature.

• Kunci Akses Akun
  • Account Access Key: Secret Manager Secret yang berisi Account Access Key.
• Autentikasi JWT
  • Client ID: Client ID yang digunakan untuk meminta token akses.
  • Kunci Pribadi: Secret Manager Secret yang berisi konten file kunci pribadi dalam format PEM. Kunci pribadi harus cocok dengan kunci/sertifikat publik.
  • Sandi Kunci Pribadi: Secret Manager Secret yang berisi sandi (parafrasa) file kunci pribadi.

Contoh konfigurasi koneksi

Bagian ini mencantumkan nilai contoh untuk berbagai kolom yang Anda konfigurasi saat membuat koneksi Azure Data Lake Storage.

Jenis koneksi Tanda Tangan Akses Bersama

Nama kolom	Detail
Lokasi	us-central1
Konektor	azuredatalakestorage
Versi konektor	1
Nama Koneksi	adls-gen2-conn-public
Mengaktifkan Cloud Logging	Ya
Akun Layanan	account@my-project.
Akun	google-cloud-dslgen3
Direktori	endpoint
Sistem File	container
Sertakan Subdirektori	Tidak
Jumlah minimum node	2
Jumlah maksimum node	50
Tanda Tangan Akses Bersama	SHARED_ACCESS_SIGNATURE
Versi Secret	1

Jenis koneksi kunci akses akun

Nama kolom	Detail
Lokasi	us-central1
Konektor	azuredatalakestorage
Versi konektor	1
Nama Koneksi	azure-data-lake-conn
Mengaktifkan Cloud Logging	Ya
Akun Layanan	account@my-project.
Akun	google-cloud-dslgen3
Direktori	amerika utara
Sistem File	container
Sertakan Subdirektori	Tidak
Jumlah minimum node	2
Jumlah maksimum node	50
Kunci Akses Akun	ACCOUNT_ACCESS_KEY
Versi Secret	1

Jenis koneksi autentikasi JWT

Nama kolom	Detail
Lokasi	us-central1
Konektor	azuredatalakestorage
Versi konektor	1
Nama Koneksi	adls-gen2-jwt-conn
Mengaktifkan Cloud Logging	Ya
Akun Layanan	account@my-project.
Akun	your-adls-account-name
Direktori	amerika utara
Sistem File	data-lake-container
Sertakan Subdirektori	Ya
Jumlah minimum node	2
Jumlah maksimum node	50
Authentication type	Autentikasi JWT
ID Klien	CLIENT_ID
Kunci Pribadi	PRIVATE_KEY_SECRET
Sandi Kunci Pribadi	PRIVATE_KEY_PASSWORD_SECRET
Versi Secret (untuk Kunci Pribadi)	1
Versi Secret (untuk Sandi Kunci Pribadi)	1

Entity, operasi, dan tindakan

Semua Konektor Integrasi menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ini ditampilkan kepada Anda sebagai entitas, operasi, dan tindakan.

Catatan: Anda dapat melihat entity, operasi, dan tindakan konektor di tugas Konektor.

• Entitas: Entitas dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entitas berbeda dari konektor ke konektor. Misalnya, di konektor database, tabel adalah entitas, di konektor server file, folder adalah entitas, dan di konektor sistem pesan, antrean adalah entitas.

  Namun, ada kemungkinan konektor tidak mendukung atau tidak memiliki entity apa pun, sehingga daftar Entities akan kosong.

• Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan salah satu operasi berikut pada entitas:
  • Daftar
  • Dapatkan
  • Buat
  • Update
  • Hapus

  Memilih entitas dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entitas tersebut. Untuk deskripsi mendetail tentang operasi, lihat operasi entitas tugas Konektor. Namun, jika konektor tidak mendukung operasi entitas apa pun, operasi yang tidak didukung tersebut tidak tercantum dalam daftar Operations.

• Tindakan: Tindakan adalah fungsi kelas utama yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan berbeda-beda dari konektor ke konektor. Biasanya, tindakan akan memiliki beberapa parameter input, dan parameter output. Namun, ada kemungkinan konektor tidak mendukung tindakan apa pun, sehingga daftar Actions akan kosong.

Catatan: Semua entitas dan tindakan akan memiliki skema yang terkait dengannya. Misalnya, skema tindakan akan memiliki detail parameter seperti; nama parameter, dan jenis datanya yang sesuai. Skema (metadata) untuk entitas dan tindakan diambil oleh koneksi saat runtime dari backend Anda. Jika ada update pada skema, update tersebut tidak akan otomatis ditampilkan di koneksi yang ada; Anda harus me-refresh skema secara manual. Untuk memuat ulang skema koneksi, buka halaman Detail koneksi koneksi, lalu klik Muat ulang skema koneksi.

Batasan sistem

Konektor Azure Data Lake Storage dapat memproses 5 transaksi per detik, per node, dan membatasi transaksi apa pun di luar batas ini. Secara default, Integration Connectors mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk koneksi.

Untuk mengetahui informasi tentang batas yang berlaku untuk Integration Connectors, lihat Batas.

Catatan: Jumlah node Integration Connectors akan diskalakan otomatis secara dinamis berdasarkan penggunaan Anda. Namun, jika ingin mencadangkan kapasitas untuk volume besar tanpa menunggu penskalaan otomatis, Anda dapat menyesuaikan nilai node minimum untuk koneksi. Jumlah node yang diperlukan meningkat saat jumlah transaksi yang diproses untuk koneksi bertambah. Sebaliknya, jumlah node yang diperlukan lebih sedikit jika koneksi memproses lebih sedikit transaksi. Untuk mengonfigurasi nilai node, lakukan hal berikut:

• Jika Anda adalah pelanggan prabayar, konfigurasikan nilai node minimum dan maksimum di halaman edit koneksi.
• Jika Anda adalah pelanggan berbasis langganan, hubungi dukungan.

Jumlah transaksi maksimum yang dapat ditangani oleh sebuah node bergantung pada berbagai faktor. Jadi, sebelum menyesuaikan node minimum untuk mendapatkan throughput yang lebih baik, sebaiknya periksa apakah sistem backend Anda telah disiapkan secara optimal untuk menangani traffic yang diperlukan.

Tindakan

Bagian ini mencantumkan tindakan yang didukung oleh konektor. Untuk memahami cara mengonfigurasi tindakan, lihat Contoh tindakan.

Catatan: Hasil semua tindakan akan tersedia sebagai respons JSON dalam parameter respons connectorOutputPayload tugas Connectors setelah Anda menjalankan integrasi.

Tindakan DownloadFile

Tindakan ini memungkinkan Anda mendownload konten blob tertentu dari direktori atau container.

Parameter input tindakan DownloadFile

Nama Parameter	Jenis Data	Wajib	Deskripsi
Jalur	String	Ya	Jalur file (termasuk nama file) yang akan didownload. Contoh: FILE_NAME dir1/FILE_NAME dir1/dir2/FILE_NAME
HasBytes	Boolean	Tidak	Apakah akan mendownload konten sebagai byte (format Base64). Untuk mendownload file non-teks seperti .pdf, .xls, dan .docx, Anda harus menyetel HasBytes ke true. Untuk mendownload file teks, Anda dapat menyetel HasBytes ke true atau false. Jika Anda menyetel nilai ke true, konten teks akan didownload sebagai byte (format Base64). Nilai default parameter ini adalah false.

Parameter output tindakan DownloadFile

Jika berhasil, tindakan ini akan menampilkan konten file atau blob.

Untuk contoh cara mengonfigurasi tindakan DownloadFile, lihat Contoh tindakan.

Tindakan CreateFile

Tindakan ini memungkinkan Anda membuat blob atau file dalam container atau direktori.

Parameter input tindakan CreateFile

Nama Parameter	Jenis Data	Wajib	Deskripsi
Jalur	String	Ya	Jalur file yang akan dibuat.

Untuk contoh cara mengonfigurasi tindakan CreateFile, lihat Contoh tindakan.

Tindakan CopyFile

Tindakan ini memungkinkan Anda menyalin konten file atau blob ke file atau blob lain dalam container atau direktori yang sama.

Parameter input tindakan CopyFile

Nama Parameter	Jenis Data	Wajib	Deskripsi
SourcePath	String	Ya	Jalur file yang akan disalin.
DestinationPath	String	Ya	Jalur file tempat file akan disalin.

Untuk contoh cara mengonfigurasi tindakan CopyFile, lihat Contoh tindakan.

Tindakan DeleteObject

Tindakan ini memungkinkan Anda menghapus file atau blob.

Parameter input tindakan DeleteObject

Nama Parameter	Jenis Data	Wajib	Deskripsi
Rekursif	String	Tidak	Tetapkan ini ke true untuk menghapus semua konten folder, termasuk subfolder.
Jalur	String	Ya	Jalur file atau folder yang akan dihapus.
DeleteType	String	Ya	Tetapkan ini ke FILESANDFOLDERS untuk menghapus file atau folder yang ditentukan dalam parameter Path. Tetapkan ini ke FILES untuk menghapus hanya file di dalam folder yang ditentukan dalam parameter Jalur.

Untuk contoh cara mengonfigurasi tindakan DeleteObject, lihat Contoh tindakan.

Tindakan LeaseBlob

Tindakan ini memungkinkan Anda membuat dan mengelola kunci pada blob.

Parameter input tindakan LeaseBlob

Nama Parameter	Jenis Data	Wajib	Deskripsi
Jalur	String	Ya	Jalur file.
LeaseAction	String	Ya	Menentukan tindakan sewa yang akan dijalankan.
LeaseDuration	Bilangan bulat	Ya	Menentukan durasi sewa.

Untuk contoh cara mengonfigurasi tindakan LeaseBlob, lihat Contoh tindakan.

Tindakan UploadFile

Tindakan ini memungkinkan pengguna mengupload konten ke blob atau penampung tertentu.

Parameter input tindakan UploadFile

Nama Parameter	Jenis Data	Wajib	Deskripsi
Jalur	String	Ya	Jalur file yang akan diupload.
HasBytes	Boolean	Tidak	Apakah akan mengupload konten sebagai byte.
Konten	String	Ya	Konten yang akan diupload.

Untuk contoh cara mengonfigurasi tindakan UploadFile, lihat Contoh tindakan.

Tindakan RenameObject

Tindakan ini memungkinkan Anda mengganti nama file atau folder.

Parameter input tindakan RenameObject

Nama Parameter	Jenis Data	Wajib	Deskripsi
Jalur	String	Ya	Jalur yang akan diganti namanya.
RenameTo	String	Ya	Nama baru file atau folder.

Untuk contoh cara mengonfigurasi tindakan RenameObject, lihat Contoh tindakan.

Contoh tindakan

Contoh - Mendownload file

Contoh ini mendownload file biner.

1. Dalam dialog Configure connector task, klik Actions.
2. Pilih tindakan DownloadFile, lalu klik Selesai.
3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "Path": "testdirectory1/test1.pdf",
   "HasBytes": true
   }

Jika tindakan berhasil, parameter respons connectorOutputPayload tugas DownloadFile akan memiliki nilai yang mirip dengan berikut ini:

[{
"Success": "True",
"ContentBytes": "UEsDBBQABgAIAAAAIQCj77sdZQEAAFIFAAATAAgCW0NvbnRlbnRfVHlwZXNdLnhtbCCiBAIooA"
}]

Contoh - Mengupload file

Contoh ini mengupload konten sebagai blob.

1. Dalam dialog Configure connector task, klik Actions.
2. Pilih tindakan UploadFile, lalu klik Selesai.
3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "Path": "testblob4",
   "HasBytes": true,
   "Content": "abcdef\nabcdef"
   }

Jika tindakan berhasil, parameter respons connectorOutputPayload tugas UploadFile akan memiliki nilai yang mirip dengan berikut ini:

[{
"Success": "true"
}]

Contoh - Membuat file

Contoh ini membuat file di direktori yang ditentukan.

1. Dalam dialog Configure connector task, klik Actions.
2. Pilih tindakan CreateFile, lalu klik Selesai.
3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "path": "testdirectory1/testblob"
   }

Jika tindakan berhasil, parameter respons connectorOutputPayload tugas CreateFile akan memiliki nilai yang mirip dengan berikut ini:

[{
"Success": "true"
}]

Contoh - Menyalin file

Contoh ini menyalin file dari satu lokasi ke lokasi lain.

1. Dalam dialog Configure connector task, klik Actions.
2. Pilih tindakan CopyFile, lalu klik Selesai.
3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "SourcePath": "testdirectory1/testblob",
   "DestinationPath": "testblob"
   }

Jika tindakan berhasil, parameter respons connectorOutputPayload tugas CopyFile akan memiliki nilai yang mirip dengan berikut ini:

[{
"Success": "true"
}]

Contoh - Menghapus blob

Contoh ini menghapus blob yang ditentukan.

1. Dalam dialog Configure connector task, klik Actions.
2. Pilih tindakan DeleteObject, lalu klik Selesai.
3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "path": "testdirectory1/testblob"
   }

Jika tindakan berhasil, parameter respons connectorOutputPayload tugas DeleteObject akan memiliki nilai yang mirip dengan berikut ini:

[{
"Success": "true"
}]

Contoh - Menyewakan blob

Contoh ini menyewakan blob yang ditentukan.

1. Dalam dialog Configure connector task, klik Actions.
2. Pilih tindakan LeaseBlob, lalu klik Selesai.
3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "Path": "testblob2",
   "LeaseAction": "Acquire",
   "LeaseDuration": 60.0
   }

Jika tindakan berhasil, parameter respons connectorOutputPayload tugas LeaseBlob akan memiliki nilai yang mirip dengan berikut:

[{
"LeaseId": "7aae9ca2-f015-41b6-9bdf-5fd3401fc493",
"Success": "true"
}]

Contoh - Mengganti nama blob

Contoh ini mengganti nama blob.

1. Dalam dialog Configure connector task, klik Actions.
2. Pilih tindakan RenameObject, lalu klik Selesai.
3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "Path": "testblob",
   "RenameTo": "testblob6"
   }

Jika tindakan berhasil, parameter respons connectorOutputPayload tugas RenameObject akan memiliki nilai yang mirip dengan berikut ini:

[{
"Success": true
}]

Contoh operasi entity

Bagian ini menunjukkan cara melakukan beberapa operasi entitas di konektor ini.

Contoh - Mencantumkan semua catatan

Contoh ini mencantumkan semua data dalam entitas Resource.

1. Dalam dialog Configure connector task, klik Entities.
2. Pilih Resource dari daftar Entity.
3. Pilih operasi List, lalu klik Selesai.
4. Secara opsional, di bagian Input Tugas pada tugas Konektor, Anda dapat memfilter kumpulan hasil dengan menentukan klausa filter. Selalu tentukan nilai klausa filter dalam tanda kutip tunggal (').

Contoh - Mendapatkan data

Contoh ini mendapatkan data dengan ID yang ditentukan dari entitas Resource.

1. Dalam dialog Configure connector task, klik Entities.
2. Pilih Resource dari daftar Entity.
3. Pilih operasi Get, lalu klik Selesai.
4. Di bagian Task Input pada tugas Connectors, klik EntityId, lalu masukkan testdirectory1/testblob1 di kolom Default Value.

   Di sini, testdirectory1/testblob1 adalah ID data unik dalam entitas Resource.

Menggunakan koneksi Azure Data Lake Storage dalam integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Apigee Integration dan Application Integration. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

• Untuk memahami cara membuat dan menggunakan tugas Konektor di Apigee Integration, lihat Tugas konektor.
• Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Aplikasi, lihat Tugas konektor.

Mendapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Forum Cloud.

Langkah berikutnya

• Pahami cara menangguhkan dan melanjutkan koneksi.
• Pahami cara memantau penggunaan konektor.
• Pahami cara melihat log konektor.