Data Lake Azure

Konektor Azure Data Lake memungkinkan Anda terhubung ke backend Azure Data Lake dan menggunakan SQL untuk mengambil serta memperbarui data Azure Data Lake.

Sebelum memulai

Sebelum menggunakan konektor Azuredatalakestorage, lakukan tugas berikut:

Di project Google Cloud Anda:
- Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
- Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
  - roles/secretmanager.viewer
  - roles/secretmanager.secretAccessor
  Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu melakukan autentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk mengetahui informasi selengkapnya, lihat Membuat akun layanan.
- Aktifkan layanan berikut:
  - secretmanager.googleapis.com (Secret Manager API)
  - connectors.googleapis.com (Connectors API)
  Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.
Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Mengonfigurasi konektor mengharuskan Anda membuat koneksi ke sumber data (sistem backend). Koneksi bersifat khusus untuk sumber data. Artinya, jika memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan langkah-langkah berikut:

Di Konsol Cloud, buka halaman Integration Connectors > Connections, lalu pilih atau buat project Google Cloud.
Buka halaman Connections
Klik + Create new untuk membuka halaman Create Connection.
Di bagian Lokasi, pilih lokasi untuk koneksi.
1. Region: Pilih lokasi dari menu drop-down.
  Region yang didukung untuk konektor mencakup:
  Untuk mengetahui daftar semua wilayah yang didukung, lihat Lokasi.
2. Klik Next.
Di bagian Connection Details, selesaikan tindakan berikut:
1. Konektor: Pilih Azure Data Lake dari menu drop-down Konektor yang tersedia.
2. Versi konektor: Pilih versi Konektor dari menu drop-down versi yang tersedia.
3. Di kolom Connection Name, masukkan nama untuk instance Connection.
  Nama koneksi harus memenuhi kriteria berikut:
  - Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
  - Huruf harus kecil.
  - Nama koneksi harus dimulai dengan huruf dan diakhiri dengan huruf atau angka.
  - Nama koneksi tidak boleh lebih dari 63 karakter.
4. Secara opsional, masukkan Deskripsi untuk instance koneksi.
5. Akun Layanan: Pilih akun layanan yang memiliki peran yang diperlukan.
6. Secara opsional, konfigurasikan Setelan node koneksi:
  - Jumlah minimum node: Masukkan jumlah minimum node koneksi.
  - Jumlah maksimum node: Masukkan jumlah maksimum node koneksi.
  {i>Node<i} adalah unit (atau replika) koneksi yang memproses transaksi. Lebih banyak node diperlukan untuk memproses lebih banyak transaksi untuk sebuah koneksi dan sebaliknya, lebih sedikit node diperlukan untuk memproses transaksi yang lebih sedikit. Untuk memahami pengaruh node terhadap harga konektor Anda, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum akan ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.
7. Akun: Properti ini menentukan nama akun penyimpanan Azure Data Lake.
8. Direktori: Properti ini menentukan jalur root untuk mencantumkan file dan folder.
9. Sistem File: Properti ini menentukan nama FileSystem yang akan digunakan di akun penyimpanan Gen 2. Misalnya, nama container blob Azure Anda.
10. Ukuran Potongan: Ukuran potongan (dalam Mb) yang digunakan saat mengupload file besar.
11. Include Sub Directories: Pilih apakah jalur sub direktori harus dicantumkan dalam tampilan Resources di Skema ADLSGen2.
12. Secara opsional, klik + Add label untuk menambahkan label ke Connection dalam bentuk key-value pair.
13. Klik Next.
Di bagian Authentication, masukkan detail autentikasi.
1. Pilih Jenis autentikasi, lalu masukkan detail yang relevan.
  Jenis autentikasi berikut didukung oleh koneksi Azure Data Lake:
  - Tanda Tangan Akses Bersama
  - Kunci Akses Akun
2. Klik Next.
Tinjau: Tinjau detail koneksi dan autentikasi Anda.
Klik Create.

Mengonfigurasi autentikasi

Masukkan detail berdasarkan autentikasi yang ingin Anda gunakan.

Tanda Tangan Akses Bersama
Jika Anda ingin menggunakan login anonim, pilih Tidak Tersedia.
- Tanda Tangan Akses Bersama: Rahasia Secret Manager yang berisi Tanda Tangan Akses Bersama.

Kunci Akses Akun
Jika Anda ingin menggunakan login anonim, pilih Tidak Tersedia.
- Kunci Akses Akun: Secret Secret Manager yang berisi Kunci Akses Akun.

Entitas, operasi, dan tindakan

Semua Integration Connectors menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ditampilkan kepada Anda sebagai entity, operasi, dan tindakan.

Entity: Entity dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entity berbeda dari konektor ke konektor. Misalnya, pada konektor database, tabel adalah entity, pada konektor server file, folder adalah entity, dan di konektor sistem pesan, antrean adalah entity.
Namun, mungkin saja konektor tidak mendukung atau memiliki entitas, dalam hal ini daftar Entities akan kosong.
Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan salah satu operasi berikut pada entitas:
- Cantumkan
- Dapatkan
- Buat
- Update
- Hapus
Memilih entity dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entity tersebut. Untuk deskripsi operasi secara mendetail, lihat operasi entity tugas Konektor. Namun, jika konektor tidak mendukung salah satu operasi entity, operasi yang tidak didukung tersebut tidak akan dicantumkan dalam daftar Operations.
Tindakan: Tindakan adalah fungsi kelas pertama yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan bervariasi dari satu konektor ke konektor lainnya. Namun, mungkin saja konektor tidak mendukung tindakan apa pun, dalam hal ini daftar Actions akan kosong.

Keterbatasan sistem

Konektor Azure Data Lake dapat memproses 5 transaksi per detik, per node, dan men-throttle transaksi apa pun di luar batas ini. Secara default, Integration Connectors mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk satu koneksi.

Untuk informasi tentang batas yang berlaku untuk Konektor Integrasi, lihat Batas.

Catatan: Jumlah node Konektor Integrasi akan diskalakan otomatis secara dinamis berdasarkan penggunaan Anda. Namun, jika ingin mencadangkan kapasitas untuk volume besar tanpa menunggu penskalaan otomatis, Anda dapat menyesuaikan nilai node minimum untuk koneksi. Perlu lebih banyak node untuk memproses lebih banyak transaksi untuk sebuah koneksi. Sebaliknya, lebih sedikit node yang diperlukan jika koneksi memproses transaksi yang lebih sedikit. Untuk mengonfigurasi nilai node, lakukan langkah berikut:

Jika Anda adalah pelanggan yang membayar sesuai penggunaan, konfigurasikan nilai node minimum dan maksimum di halaman edit koneksi.
Jika Anda adalah pelanggan yang berbasis langganan, hubungi dukungan.

Transaksi maksimum yang dapat ditangani node bergantung pada berbagai faktor. Jadi, sebelum menyesuaikan node minimum untuk throughput yang lebih baik, sebaiknya periksa apakah sistem backend Anda sudah disiapkan secara optimal untuk menangani traffic yang diperlukan.

Tindakan

Bagian ini mencantumkan tindakan yang didukung oleh konektor. Untuk memahami cara mengonfigurasi tindakan, lihat Contoh tindakan.

Catatan: Hasil semua tindakan akan tersedia sebagai respons JSON dalam parameter respons connectorOutputPayload tugas Connectors setelah Anda menjalankan integrasi.

Tindakan DownloadFile

Tindakan ini memungkinkan Anda mendownload konten blob tertentu dari direktori atau container.

Parameter input tindakan DownloadFile

Nama Parameter	Jenis Data	Diperlukan	Deskripsi
Jalur	String	Ya	Jalur file yang akan didownload.
HasBytes	String	Tidak	Apakah akan mendownload konten sebagai byte.

Parameter output tindakan DownloadFile

Jika tindakan tersebut berhasil, konten file atau blob akan ditampilkan.

Untuk mengetahui contoh cara mengonfigurasi tindakan DownloadFile, lihat Contoh tindakan.

Tindakan CreateFile

Tindakan ini memungkinkan Anda membuat blob atau file dalam container atau direktori.

Parameter input tindakan CreateFile

Nama Parameter	Jenis Data	Diperlukan	Deskripsi
Jalur	String	Ya	Jalur file yang akan dibuat.

Untuk mengetahui contoh cara mengonfigurasi tindakan CreateFile, lihat Contoh tindakan.

Tindakan CopyFile

Tindakan ini memungkinkan Anda menyalin konten file atau blob ke file atau blob lain dalam container atau direktori yang sama.

Parameter input tindakan CopyFile

Nama Parameter	Jenis Data	Diperlukan	Deskripsi
SourcePath	String	Ya	Jalur file yang akan disalin.
DestinationPath	String	Ya	Jalur file tempat file akan disalin.

Untuk mengetahui contoh cara mengonfigurasi tindakan CopyFile, lihat Contoh tindakan.

Tindakan DeleteObject

Tindakan ini memungkinkan Anda menghapus file atau blob.

Parameter input tindakan DeleteObject

Nama Parameter	Jenis Data	Diperlukan	Deskripsi
Rekursif	String	Tidak	Tetapkan ini ke `true` untuk menghapus semua konten folder, termasuk subfolder mana pun.
Jalur	String	Ya	Jalur file atau folder yang akan dihapus.
DeleteType	String	Ya	Setel ini ke FILESANDFOLDERS untuk menghapus file atau folder yang ditentukan di parameter Path. Setel ini ke FILES untuk hanya menghapus file dalam folder yang ditentukan di parameter Jalur.

Untuk mengetahui contoh cara mengonfigurasi tindakan DeleteObject, lihat Contoh tindakan.

Tindakan LeaseBlob

Tindakan ini memungkinkan Anda membuat dan mengelola kunci pada blob.

Parameter input tindakan LeaseBlob

Nama Parameter	Jenis Data	Diperlukan	Deskripsi
Jalur	String	Ya	Jalur file.
LeaseAction	String	Ya	Menentukan tindakan lease yang akan dijalankan.
LeaseDuration	Bilangan bulat	Ya	Menentukan durasi lease.

Untuk mengetahui contoh cara mengonfigurasi tindakan LeaseBlob, lihat Contoh tindakan.

Tindakan UploadFile

Tindakan ini memungkinkan pengguna mengupload konten ke blob atau container tertentu.

Parameter input tindakan UploadFile

Nama Parameter	Jenis Data	Diperlukan	Deskripsi
Jalur	String	Ya	Jalur file yang akan diupload.
HasBytes	String	Tidak	Apakah akan mengupload konten sebagai byte.
Konten	String	Ya	Konten yang akan diupload.

Untuk mengetahui contoh cara mengonfigurasi tindakan UploadFile, lihat Contoh tindakan.

Tindakan RenameObject

Tindakan ini memungkinkan Anda mengganti nama file atau folder.

Parameter input tindakan RenameObject

Nama Parameter	Jenis Data	Diperlukan	Deskripsi
Jalur	String	Ya	Jalur yang akan diganti namanya.
RenameTo	String	Ya	Nama baru file atau folder.

Untuk mengetahui contoh cara mengonfigurasi tindakan RenameObject, lihat Contoh tindakan.

Contoh tindakan

Contoh - Mengunduh file

Contoh ini mendownload file biner.

Dalam dialog Configure connector task, klik Actions.
Pilih tindakan DownloadFile, lalu klik Done.
Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
```
{
"Path": "testdirectory1/testblob1",
"HasBytes": true
}
```

Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas DownloadFile akan memiliki nilai yang mirip dengan yang berikut:

[{
"Success": "True",
"ContentBytes": "UEsDBBQABgAIAAAAIQCj77sdZQEAAFIFAAATAAgCW0NvbnRlbnRfVHlwZXNdLnhtbCCiBAIooA"
}]

Contoh - Upload file

Contoh ini mengupload konten sebagai blob.

Dalam dialog Configure connector task, klik Actions.
Pilih tindakan UploadFile, lalu klik Done.
Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
```
{
"Path": "testblob4",
"HasBytes": true,
"Content": "abcdef\nabcdef"
}
```

Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas UploadFile akan memiliki nilai yang mirip dengan yang berikut:

[{
"Success": "true"
}]

Contoh - Membuat file

Contoh ini akan membuat file dalam direktori yang ditentukan.

Dalam dialog Configure connector task, klik Actions.
Pilih tindakan CreateFile, lalu klik Done.
Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
```
{
"path": "testdirectory1/testblob"
}
```

Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas CreateFile akan memiliki nilai yang mirip dengan yang berikut:

[{
"Success": "true"
}]

Contoh - Menyalin file

Contoh ini menyalin file dari satu lokasi ke lokasi lain.

Dalam dialog Configure connector task, klik Actions.
Pilih tindakan CopyFile, lalu klik Done.
Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
```
{
"SourcePath": "testdirectory1/testblob",
"DestinationPath": "testblob"
}
```

Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas CopyFile akan memiliki nilai yang mirip dengan yang berikut:

[{
"Success": "true"
}]

Contoh - Menghapus blob

Contoh ini menghapus blob yang ditentukan.

Dalam dialog Configure connector task, klik Actions.
Pilih tindakan DeleteObject, lalu klik Done.
Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
```
{
"path": "testdirectory1/testblob"
}
```

Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas DeleteObject akan memiliki nilai yang mirip dengan yang berikut:

[{
"Success": "true"
}]

Contoh - Menyewa blob

Contoh ini menyewakan blob yang ditentukan.

Dalam dialog Configure connector task, klik Actions.
Pilih tindakan LeaseBlob, lalu klik Done.
Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
```
{
"Path": "testblob2",
"LeaseAction": "Acquire",
"LeaseDuration": 60.0
}
```

Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas LeaseBlob akan memiliki nilai yang mirip dengan yang berikut ini:

[{
"LeaseId": "7aae9ca2-f015-41b6-9bdf-5fd3401fc493",
"Success": "true"
}]

Contoh - Mengganti nama blob

Contoh ini mengganti nama blob.

Dalam dialog Configure connector task, klik Actions.
Pilih tindakan RenameObject, lalu klik Done.
Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value:
```
{
"Path": "testblob",
"RenameTo": "testblob6"
}
```

Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas RenameObject akan memiliki nilai yang mirip dengan yang berikut:

[{
"Success": true
}]

Contoh operasi entitas

Bagian ini menunjukkan cara melakukan beberapa operasi entity di konektor ini.

Contoh - Menampilkan daftar semua catatan

Contoh ini mencantumkan semua data dalam entity Resource.

Dalam dialog Configure connector task, klik Entities.
Pilih Resource dari daftar Entity.
Pilih operasi List, lalu klik Done.
Secara opsional, di bagian Task Input pada tugas Connectors, Anda dapat memfilter kumpulan hasil dengan menentukan klausa filter. Tentukan nilai klausa filter selalu dalam tanda kutip tunggal (').

Contoh - Mendapatkan data

Contoh ini mendapatkan data dengan ID yang ditentukan dari entity Resource.

Dalam dialog Configure connector task, klik Entities.
Pilih Resource dari daftar Entity.
Pilih operasi Get, lalu klik Done.
Di bagian Task Input pada tugas Connectors, klik EntityId lalu masukkan testdirectory1/testblob1 di kolom Default Value.
Di sini, testdirectory1/testblob1 adalah ID data unik dalam entity Resource.

Menggunakan koneksi Azure Data Lake dalam integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Apigee Integration dan Application Integration. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Apigee, lihat Tugas konektor.
Untuk memahami cara membuat dan menggunakan tugas Konektor dalam Application Integration, lihat tugas konektor.

Dapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Cloud Forums.

Langkah selanjutnya

Memahami cara menangguhkan dan melanjutkan koneksi.
Pahami cara memantau penggunaan konektor.
Pahami cara melihat log konektor.