Mengelola administrasi Studio

Halaman ini menjelaskan kemampuan administrasi yang disediakan Cloud Data Fusion Studio untuk mengelola konfigurasi. Cloud Data Fusion mengikuti hierarki, dengan setiap instance dapat memiliki beberapa namespaces. Dari Cloud Data Fusion Studio, administrator dapat mengelola semua namespace secara terpusat, atau mengelolanya satu per satu. Cloud Data Fusion Studio menyediakan kontrol sistem dan namespace berikut.

Administrasi sistem

Mengklik System admin di Cloud Data Fusion Studio akan menampilkan tab berikut:

  • Tab Pengelolaan: melihat status kesehatan berbagai layanan Cloud Data Fusion. Anda juga dapat melihat log untuk setiap layanan.

  • Tab Konfigurasi: membuat, melihat, dan mengedit kontrol berikut:

Penyedia bertanggung jawab untuk membuat, melakukan inisialisasi, dan menghancurkan lingkungan cloud tempat pipeline berjalan. Setiap penyedia mengekspos serangkaian konfigurasi yang digunakan untuk mengontrol jenis cluster yang dibuat dan dihapus. Penyedia yang berbeda membuat berbagai jenis cluster.

Setiap profil komputasi memiliki cakupan: sistem atau pengguna. Anda dapat menggunakan profil komputasi sistem untuk namespace apa pun di bawahnya. Profil komputasi pengguna ada dalam namespace, dan hanya pipeline dalam namespace tersebut yang dapat menggunakan profil komputasi pengguna.

Di tab Konfigurasi administrator sistem, Anda dapat membuat profil komputasi sistem yang diterapkan ke semua namespace. Cloud Data Fusion menetapkan profil komputasi default.

Saat membuat profil komputasi, Anda memilih penyedia, yang digunakan profil untuk membuat dan mengonfigurasi detail runtime cloud.

Preferensi sistem

Preferensi adalah konfigurasi standar yang berlaku di berbagai tingkat dalam Cloud Data Fusion, termasuk sistem itu sendiri, namespace, aplikasi (yang berisi pipeline), dan setiap program dalam pipeline. Preferensi memberikan cara untuk menetapkan nilai default untuk konfigurasi yang umum digunakan. Default ini dapat diwarisi oleh pipeline dan program di tingkat yang lebih rendah, sehingga mengurangi tugas konfigurasi berulang. Untuk mengetahui informasi selengkapnya, lihat Mengelola makro, preferensi, dan argumen runtime.

Tindakan panggilan HTTP

Tindakan panggilan HTTP di halaman System admin memungkinkan Anda berinteraksi dengan API Cloud Data Fusion sendiri, atau mungkin API layanan Google Cloud lainnya, langsung dari antarmuka Cloud Data Fusion Studio. Namun, untuk membangun pipeline pemrosesan data dengan sumber data eksternal, gunakan plugin HTTP dan Eksekutor panggilan HTTP-nya dalam pipeline Anda untuk solusi yang lebih komprehensif. Tindakan ini sedikit berbeda dengan tindakan panggilan HTTP, tetapi konsep dasarnya sama.

Konfigurasi dan kasus penggunaan

Tindakan panggilan HTTP terutama digunakan untuk tugas administratif atau tujuan konfigurasi dalam Cloud Data Fusion. Dengan API ini, Anda dapat berinteraksi dengan Cloud Data Fusion API atau layanan Google Cloud lainnya yang mengekspos HTTP API, langsung dari Cloud Data Fusion Studio.

Konfigurasi

Anda dapat menentukan detail berikut untuk panggilan HTTP:

  • URL: endpoint target layanan web yang ingin Anda panggil.
  • Method: metode HTTP yang akan digunakan, seperti GET, POST, atau PUT.
  • Opsional: Header: header kustom apa pun yang diperlukan untuk permintaan.
  • Opsional: Isi: data yang akan dikirim dalam isi permintaan, seperti untuk panggilan POST dan PUT.

Kemudian, Anda dapat menjalankan panggilan HTTP yang ditentukan dan melihat respons dari layanan web dalam Cloud Data Fusion Studio.

Kasus penggunaan
  • Menguji panggilan Cloud Data Fusion API. Anda dapat menggunakan tindakan panggilan HTTP untuk menguji atau menjelajahi fungsi Cloud Data Fusion API secara langsung dari antarmuka web. Tindakan ini dapat membantu untuk memahami perilaku API atau memecahkan masalah yang mungkin terjadi.
  • Mengelola namespace (lanjutan). Meskipun ada UI khusus untuk pengelolaan namespace, tindakan panggilan HTTP dapat digunakan untuk tugas lanjutan dengan langsung melakukan panggilan ke Cloud Data Fusion API untuk pembuatan, penghapusan, atau konfigurasi namespace.
  • Berinteraksi dengan layanan Google Cloud lainnya (terbatas). Jika layanan Google Cloud lain yang Anda gunakan memiliki HTTP API yang didokumentasikan secara publik, Anda dapat menggunakan tindakan panggilan HTTP untuk berinteraksi dengan layanan tersebut, meskipun ini adalah kasus penggunaan yang tidak umum.
Pertimbangan penting
  • Keamanan: berhati-hatilah saat menggunakan tindakan panggilan HTTP, terutama dengan data sensitif atau panggilan Cloud Data Fusion API yang dapat memengaruhi lingkungan Anda. Pastikan Anda memahami implikasi setiap panggilan API sebelum menjalankannya.
  • Batasan: tindakan panggilan HTTP terutama untuk tugas administratif dan tujuan pengujian. Alat ini tidak dirancang untuk membuat pipeline pemrosesan data yang kompleks yang melibatkan manipulasi data dalam Cloud Data Fusion.
  • Alternatif untuk pipeline: untuk mengintegrasikan sumber data atau layanan eksternal ke dalam pipeline data, gunakan plugin HTTP dan eksekutor panggilan HTTP terkait dalam definisi pipeline Anda. Hal ini memberikan cara yang lebih andal dan terkontrol untuk mengelola interaksi HTTP dalam alur kerja pemrosesan data Anda.

Administrasi namespace

Dengan mengklik Admin namespace di Cloud Data Fusion Studio, Anda dapat mengelola konfigurasi untuk namespace tertentu. Untuk setiap namespace, Anda dapat menentukan aspek berikut:

  • Profil komputasi: profil yang disiapkan di Admin namespace adalah profil komputasi pengguna. Hanya pipeline di namespace tersebut yang dapat menggunakan profil komputasi pengguna ini. Untuk mengetahui informasi selengkapnya, lihat Mengelola profil komputasi.
  • Preferensi: preferensi yang ditentukan di tingkat namespace berlaku untuk namespace, aplikasi (yang berisi pipeline), dan setiap program dalam pipeline. Untuk mengetahui informasi selengkapnya, lihat Mengelola makro, preferensi, dan argumen runtime.
  • Koneksi: Cloud Data Fusion memungkinkan Anda menggunakan kembali koneksi ke sumber dan sink dalam pipeline data. Anda dapat menambahkan koneksi di halaman Admin Namespace. Untuk informasi selengkapnya, lihat Membuat dan mengelola koneksi.
  • Driver: beberapa plugin di Cloud Data Fusion memerlukan driver JDBC untuk ditambahkan ke namespace. Misalnya, sebelum dapat menjalankan pipeline dengan plugin sumber batch MySQL, Anda harus menambahkan driver MySQL yang didukung ke namespace. Anda dapat mengupload atau menghapus driver JDBC ke namespace dari halaman Admin Namespace, atau langsung dari Hub. Untuk informasi selengkapnya, lihat Driver plugin.
  • Source Control Management: untuk mengelola proses pengembangan pipeline yang di-deploy secara efisien, Source Control Management memungkinkan Anda menghubungkan namespace dengan repositori sistem kontrol sumber Anda. Untuk mengetahui informasi selengkapnya, lihat Mengelola pipeline menggunakan Pengelolaan Kontrol Sumber.
  • Akun layanan: untuk mengontrol akses ke resource Google Cloud, namespace di Cloud Data Fusion menggunakan Cloud Data Fusion API Service Agent secara default.

Untuk isolasi data yang lebih baik, Anda dapat mengaitkan akun layanan Identity and Access Management (IAM) yang disesuaikan (dikenal sebagai Akun Layanan Per Namespace) dengan setiap namespace. Akun layanan IAM yang disesuaikan, yang dapat berbeda untuk namespace yang berbeda, memungkinkan Anda mengontrol akses ke resource Google Cloud di antara namespace untuk operasi waktu desain pipeline di Cloud Data Fusion, seperti pratinjau pipeline, Wrangler, dan validasi pipeline. Untuk informasi selengkapnya, lihat Kontrol akses dengan akun layanan namespace.

Langkah selanjutnya