Azure Data Lake Storage

Konektor Azure Data Lake Storage memungkinkan Anda terhubung ke Azure Data Lake Storage dan menggunakan SQL untuk mengambil serta memperbarui data Azure Data Lake Storage.

Sebelum memulai

Sebelum menggunakan konektor Azure Data Lake Storage, lakukan tugas berikut:

• Di project Google Cloud Anda:
  • Pastikan konektivitas jaringan sudah disiapkan. Untuk mengetahui informasi tentang pola jaringan, lihat Konektivitas jaringan.
  • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
  • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu diautentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk informasi selengkapnya, lihat Membuat akun layanan.

  • Aktifkan layanan berikut:
    • secretmanager.googleapis.com (Secret Manager API)
    • connectors.googleapis.com (Connectors API)

    Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

  Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

• Untuk mengetahui informasi tentang cara membuat akun penyimpanan Azure, lihat Membuat akun penyimpanan. Untuk mengetahui informasi tentang cara membuat penampung di Azure, lihat Membuat penampung. Untuk informasi tentang cara membuat direktori di Azure, lihat Membuat direktori.

Mengonfigurasi konektor

Untuk mengonfigurasi konektor, Anda harus membuat koneksi ke sumber data (sistem backend). Koneksi bersifat khusus untuk sumber data. Artinya, jika memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan langkah-langkah berikut:

1. Di konsol Cloud, buka halaman Konektor Integrasi > Koneksi, lalu pilih atau buat project Google Cloud.

   Buka halaman Koneksi

2. Klik + Buat baru untuk membuka halaman Buat Koneksi.
3. Di bagian Location, pilih lokasi untuk koneksi.
   1. Region: Pilih lokasi dari menu drop-down.

      Region yang didukung untuk konektor meliputi:

      Untuk mengetahui daftar semua region yang didukung, lihat Lokasi.

   2. Klik Berikutnya.
4. Di bagian Connection Details, selesaikan tindakan berikut:
   1. Konektor: Pilih Azure Data Lake Storage dari menu drop-down Konektor yang tersedia.
   2. Versi konektor: Pilih versi Konektor dari menu drop-down versi yang tersedia.
   3. Di kolom Connection Name, masukkan nama untuk instance Connection.

      Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus berupa huruf kecil.
      • Nama koneksi harus diawali dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh melebihi 49 karakter.
   4. Secara opsional, masukkan Description untuk instance koneksi.
   5. Secara opsional, aktifkan Cloud Logging, lalu pilih level log. Secara default, level log ditetapkan ke Error.
   6. Service Account: Pilih akun layanan yang memiliki peran yang diperlukan.
   7. Secara opsional, konfigurasikan Setelan node koneksi:
      • Jumlah node minimum: Masukkan jumlah minimum node koneksi.
      • Maximum number of nodes: Masukkan jumlah maksimum node koneksi.

      Node adalah unit (atau replika) koneksi yang memproses transaksi. Semakin banyak node yang diperlukan untuk memproses lebih banyak transaksi untuk koneksi, dan sebaliknya, semakin sedikit node yang diperlukan untuk memproses lebih sedikit transaksi. Untuk memahami pengaruh node terhadap harga konektor, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default, node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

   Catatan: Anda hanya dapat menyesuaikan nilai node koneksi jika merupakan pelanggan Bayar sesuai penggunaan.
   8. Account: Properti ini menentukan nama akun Azure Data Lake Storage.
   9. Directory: Properti ini menentukan jalur root untuk mencantumkan file dan folder.
   10. Sistem File: Properti ini menentukan nama FileSystem yang akan digunakan di akun penyimpanan Gen 2. Misalnya, nama penampung blob Azure Anda.
   11. Ukuran Potongan: Ukuran potongan (dalam Mb) yang akan digunakan saat mengupload file berukuran besar.
   12. Sertakan Subdirektori: Pilih apakah jalur subdirektori harus dicantumkan di tampilan Resource dalam Skema ADLSGen2.
   13. Secara opsional, klik + Tambahkan label untuk menambahkan label ke Koneksi dalam bentuk pasangan nilai kunci.
   14. Klik Berikutnya.
5. Di bagian Authentication, masukkan detail autentikasi.
   1. Pilih Jenis autentikasi dan masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi Azure Data Lake Storage:

      • Tanda Tangan Akses Bersama
      • Kunci Akses Akun

   Untuk memahami cara mengonfigurasi jenis autentikasi ini, lihat Mengonfigurasi autentikasi.

   2. Klik Berikutnya.
6. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
7. Klik Create.

Contoh konfigurasi koneksi

Bagian ini mencantumkan contoh nilai untuk berbagai kolom yang Anda konfigurasi saat membuat koneksi Azure Data Lake Storage.

Jenis koneksi Tanda Tangan Akses Bersama

Nama kolom	Detail
Lokasi	us-central1
Konektor	azuredatalakestorage
Versi konektor	1
Nama Koneksi	adls-gen2-conn-public
Mengaktifkan Cloud Logging	Ya
Akun Layanan	SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Akun	google-cloud-dslgen3
Direktori	testdirectory1
Sistem File	testcontainer1
Menyertakan Subdirektori	Tidak
Jumlah minimum node	2
Jumlah maksimum node	50
Tanda Tangan Akses Bersama	SHARED_ACCESS_SIGNATURE
Versi Secret	1

Jenis koneksi kunci akses akun

Nama kolom	Detail
Lokasi	us-central1
Konektor	azuredatalakestorage
Versi konektor	1
Nama Koneksi	azure-data-lake-conn
Mengaktifkan Cloud Logging	Ya
Akun Layanan	SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Akun	google-cloud-dslgen3
Direktori	testdirectory1
Sistem File	testcontainer1
Menyertakan Subdirektori	Tidak
Jumlah minimum node	2
Jumlah maksimum node	50
Kunci Akses Akun	ACCOUNT_ACCESS_KEY
Versi Secret	1

Mengonfigurasi autentikasi

Masukkan detail berdasarkan autentikasi yang ingin Anda gunakan.

• Shared Access Signature

  Jika Anda ingin menggunakan login anonim, pilih Tidak Tersedia.

  • Shared Access Signature: Secret Manager Secret yang berisi Shared Access Signature.

• Account Access Key

  Jika Anda ingin menggunakan login anonim, pilih Tidak Tersedia.

  • Kunci Akses Akun: Secret Manager Secret yang berisi Kunci Akses Akun.

Entity, operasi, dan tindakan

Semua Konektor Integrasi menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ditampilkan kepada Anda sebagai entitas, operasi, dan tindakan.

Catatan: Anda dapat melihat entity, operasi, dan tindakan konektor di tugas Konektor.

• Entity: Entity dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entitas berbeda dari konektor ke konektor. Misalnya, dalam konektor database, tabel adalah entitas, dalam konektor server file, folder adalah entitas, dan dalam konektor sistem pesan, antrean adalah entitas.

  Namun, mungkin konektor tidak mendukung atau memiliki entity apa pun, dalam hal ini, daftar Entities akan kosong.

• Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan salah satu operasi berikut pada entitas:
  • Cantumkan
  • Dapatkan
  • Buat
  • Update
  • Hapus

  Memilih entitas dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entitas tersebut. Untuk deskripsi mendetail tentang operasi, lihat operasi entity tugas Konektor. Namun, jika konektor tidak mendukung operasi entitas apa pun, operasi yang tidak didukung tersebut tidak akan tercantum dalam daftar Operations.

• Tindakan: Tindakan adalah fungsi kelas satu yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan bervariasi dari satu konektor ke konektor lainnya. Biasanya, tindakan akan memiliki beberapa parameter input, dan parameter output. Namun, konektor mungkin tidak mendukung tindakan apa pun, dalam hal ini daftar Actions akan kosong.

Catatan: Semua entitas dan tindakan akan memiliki skema yang terkait dengannya. Misalnya, skema tindakan akan memiliki detail parameter seperti; nama parameter, dan jenis data yang sesuai. Skema (metadata) untuk entity dan tindakan diambil oleh koneksi saat runtime dari backend Anda. Jika ada pembaruan pada skema, pembaruan tersebut tidak akan otomatis ditampilkan di koneksi yang ada; Anda harus memuat ulang skema secara manual. Untuk memuat ulang skema koneksi, buka halaman Connection details koneksi, lalu klik Refresh connection schema.

Batasan sistem

Konektor Azure Data Lake Storage dapat memproses 5 transaksi per detik, per node, dan mencegah transaksi apa pun melebihi batas ini. Secara default, Konektor Integrasi mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk koneksi.

Untuk mengetahui informasi tentang batas yang berlaku untuk Konektor Integrasi, lihat Batas.

Catatan: Jumlah node Konektor Integrasi akan diskalakan secara otomatis secara dinamis berdasarkan penggunaan Anda. Namun, jika ingin mencadangkan kapasitas untuk volume besar tanpa menunggu penskalaan otomatis, Anda dapat menyesuaikan nilai node minimum untuk koneksi. Diperlukan lebih banyak node untuk memproses lebih banyak transaksi untuk koneksi. Sebaliknya, lebih sedikit node yang diperlukan jika koneksi memproses lebih sedikit transaksi. Untuk mengonfigurasi nilai node, lakukan hal berikut:

• Jika Anda adalah pelanggan bayar sesuai penggunaan, konfigurasikan nilai node minimum dan maksimum di halaman edit koneksi.
• Jika Anda adalah pelanggan berbasis langganan, hubungi dukungan.

Transaksi maksimum yang dapat ditangani node bergantung pada berbagai faktor. Jadi, sebelum menyesuaikan node minimum untuk throughput yang lebih baik, sebaiknya periksa apakah sistem backend Anda disiapkan secara optimal untuk menangani traffic yang diperlukan.

Tindakan

Bagian ini mencantumkan tindakan yang didukung oleh konektor. Untuk memahami cara mengonfigurasi tindakan, lihat Contoh tindakan.

Catatan: Hasil semua tindakan akan tersedia sebagai respons JSON dalam parameter respons connectorOutputPayload tugas Connectors setelah Anda menjalankan integrasi.

Tindakan DownloadFile

Tindakan ini memungkinkan Anda mendownload konten blob tertentu dari direktori atau penampung.

Parameter input tindakan DownloadFile

Nama Parameter	Jenis Data	Wajib	Deskripsi
Jalur	String	Ya	Jalur file (termasuk nama file) yang akan didownload. Contoh: FILE_NAME dir1/FILE_NAME dir1/dir2/FILE_NAME
HasBytes	Boolean	Tidak	Apakah akan mendownload konten sebagai byte (format Base64). Untuk mendownload file non-teks seperti .pdf, .xls, dan .docx, Anda harus menetapkan HasBytes ke true. Untuk mendownload file teks, Anda dapat menetapkan HasBytes ke true atau false. Jika Anda menetapkan nilai ke true, konten teks akan didownload sebagai byte (format Base64). Nilai default parameter ini adalah false.

Parameter output tindakan DownloadFile

Jika berhasil, tindakan ini akan menampilkan konten file atau blob.

Misalnya, cara mengonfigurasi tindakan DownloadFile, lihat Contoh tindakan.

Tindakan CreateFile

Tindakan ini memungkinkan Anda membuat blob atau file dalam penampung atau direktori.

Parameter input tindakan CreateFile

Nama Parameter	Jenis Data	Wajib	Deskripsi
Jalur	String	Ya	Jalur file yang akan dibuat.

Misalnya, cara mengonfigurasi tindakan CreateFile, lihat Contoh tindakan.

Tindakan CopyFile

Tindakan ini memungkinkan Anda menyalin konten file atau blob ke file atau blob lain dalam penampung atau direktori yang sama.

Parameter input tindakan CopyFile

Nama Parameter	Jenis Data	Wajib	Deskripsi
SourcePath	String	Ya	Jalur file yang akan disalin.
DestinationPath	String	Ya	Jalur file tempat file akan disalin.

Misalnya, cara mengonfigurasi tindakan CopyFile, lihat Contoh tindakan.

Tindakan DeleteObject

Tindakan ini memungkinkan Anda menghapus file atau blob.

Parameter input tindakan DeleteObject

Nama Parameter	Jenis Data	Wajib	Deskripsi
Rekursif	String	Tidak	Tetapkan ke true untuk menghapus semua konten folder termasuk subfolder.
Jalur	String	Ya	Jalur file atau folder yang akan dihapus.
DeleteType	String	Ya	Tetapkan ke FILESANDFOLDERS untuk menghapus file atau folder yang ditentukan dalam parameter Jalur. Tetapkan ke FILES untuk hanya menghapus file di dalam folder yang ditentukan dalam parameter Path.

Misalnya, cara mengonfigurasi tindakan DeleteObject, lihat Contoh tindakan.

Tindakan LeaseBlob

Tindakan ini memungkinkan Anda membuat dan mengelola kunci pada blob.

Parameter input tindakan LeaseBlob

Nama Parameter	Jenis Data	Wajib	Deskripsi
Jalur	String	Ya	Jalur file.
LeaseAction	String	Ya	Menentukan tindakan sewa yang akan dijalankan.
LeaseDuration	Bilangan bulat	Ya	Menentukan durasi sewa.

Misalnya, cara mengonfigurasi tindakan LeaseBlob, lihat Contoh tindakan.

Tindakan UploadFile

Tindakan ini memungkinkan pengguna mengupload konten ke blob atau penampung tertentu.

Parameter input tindakan UploadFile

Nama Parameter	Jenis Data	Wajib	Deskripsi
Jalur	String	Ya	Jalur file yang akan diupload.
HasBytes	Boolean	Tidak	Apakah akan mengupload konten sebagai byte.
Konten	String	Ya	Konten yang akan diupload.

Misalnya, cara mengonfigurasi tindakan UploadFile, lihat Contoh tindakan.

Tindakan RenameObject

Tindakan ini memungkinkan Anda mengganti nama file atau folder.

Parameter input tindakan RenameObject

Nama Parameter	Jenis Data	Wajib	Deskripsi
Jalur	String	Ya	Jalur yang akan diganti namanya.
RenameTo	String	Ya	Nama baru file atau folder.

Misalnya, cara mengonfigurasi tindakan RenameObject, lihat Contoh tindakan.

Contoh tindakan

Contoh - Mendownload file

Contoh ini mendownload file biner.

1. Pada dialog Configure connector task, klik Actions.
2. Pilih tindakan DownloadFile, lalu klik Selesai.
3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "Path": "testdirectory1/test1.pdf",
   "HasBytes": true
   }

Jika tindakan berhasil, parameter respons connectorOutputPayload tugas DownloadFile akan memiliki nilai yang mirip dengan berikut:

[{
"Success": "True",
"ContentBytes": "UEsDBBQABgAIAAAAIQCj77sdZQEAAFIFAAATAAgCW0NvbnRlbnRfVHlwZXNdLnhtbCCiBAIooA"
}]

Contoh - Mengupload file

Contoh ini mengupload konten sebagai blob.

1. Pada dialog Configure connector task, klik Actions.
2. Pilih tindakan UploadFile, lalu klik Selesai.
3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "Path": "testblob4",
   "HasBytes": true,
   "Content": "abcdef\nabcdef"
   }

Jika tindakan berhasil, parameter respons connectorOutputPayload tugas UploadFile akan memiliki nilai yang mirip dengan berikut:

[{
"Success": "true"
}]

Contoh - Membuat file

Contoh ini membuat file di direktori yang ditentukan.

1. Pada dialog Configure connector task, klik Actions.
2. Pilih tindakan CreateFile, lalu klik Selesai.
3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "path": "testdirectory1/testblob"
   }

Jika tindakan berhasil, parameter respons connectorOutputPayload tugas CreateFile akan memiliki nilai yang mirip dengan berikut:

[{
"Success": "true"
}]

Contoh - Menyalin file

Contoh ini menyalin file dari satu lokasi ke lokasi lain.

1. Pada dialog Configure connector task, klik Actions.
2. Pilih tindakan CopyFile, lalu klik Selesai.
3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "SourcePath": "testdirectory1/testblob",
   "DestinationPath": "testblob"
   }

Jika tindakan berhasil, parameter respons connectorOutputPayload tugas CopyFile akan memiliki nilai yang mirip dengan berikut:

[{
"Success": "true"
}]

Contoh - Menghapus blob

Contoh ini menghapus blob yang ditentukan.

1. Pada dialog Configure connector task, klik Actions.
2. Pilih tindakan DeleteObject, lalu klik Selesai.
3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "path": "testdirectory1/testblob"
   }

Jika tindakan berhasil, parameter respons connectorOutputPayload tugas DeleteObject akan memiliki nilai yang mirip dengan berikut:

[{
"Success": "true"
}]

Contoh - Menyewa blob

Contoh ini menyewakan blob yang ditentukan.

1. Pada dialog Configure connector task, klik Actions.
2. Pilih tindakan LeaseBlob, lalu klik Selesai.
3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "Path": "testblob2",
   "LeaseAction": "Acquire",
   "LeaseDuration": 60.0
   }

Jika tindakan berhasil, parameter respons connectorOutputPayload tugas LeaseBlob akan memiliki nilai yang mirip dengan berikut:

[{
"LeaseId": "7aae9ca2-f015-41b6-9bdf-5fd3401fc493",
"Success": "true"
}]

Contoh - Mengganti nama blob

Contoh ini mengganti nama blob.

1. Pada dialog Configure connector task, klik Actions.
2. Pilih tindakan RenameObject, lalu klik Selesai.
3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:

   {
   "Path": "testblob",
   "RenameTo": "testblob6"
   }

Jika tindakan berhasil, parameter respons connectorOutputPayload tugas RenameObject akan memiliki nilai yang mirip dengan berikut:

[{
"Success": true
}]

Contoh operasi entity

Bagian ini menunjukkan cara melakukan beberapa operasi entity di konektor ini.

Contoh - Mencantumkan semua data

Contoh ini mencantumkan semua data dalam entitas Resource.

1. Pada dialog Configure connector task, klik Entities.
2. Pilih Resource dari daftar Entity.
3. Pilih operasi List, lalu klik Selesai.
4. Secara opsional, di bagian Input Tugas pada tugas Konektor, Anda dapat memfilter set hasil dengan menentukan klausa filter. Tentukan nilai klausa filter selalu dalam tanda kutip tunggal (').

Contoh - Mendapatkan data

Contoh ini mendapatkan data dengan ID yang ditentukan dari entitas Resource.

1. Pada dialog Configure connector task, klik Entities.
2. Pilih Resource dari daftar Entity.
3. Pilih operasi Get, lalu klik Selesai.
4. Di bagian Task Input pada tugas Connectors, klik EntityId, lalu masukkan testdirectory1/testblob1 di kolom Default Value.

   Di sini, testdirectory1/testblob1 adalah ID data unik dalam entitas Resource.

Menggunakan koneksi Azure Data Lake Storage dalam integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Integration Apigee dan Integration Aplikasi. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

• Untuk memahami cara membuat dan menggunakan tugas Konektor di Apigee Integration, lihat Tugas konektor.
• Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Aplikasi, lihat Tugas konektor.

Mendapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Cloud Forums.

Langkah selanjutnya

• Pahami cara menangguhkan dan melanjutkan koneksi.
• Pahami cara memantau penggunaan konektor.
• Pahami cara melihat log konektor.