Mengelola administrasi Studio

Halaman ini menjelaskan kemampuan administrasi yang disediakan Cloud Data Fusion Studio untuk mengelola konfigurasi. Cloud Data Fusion mengikuti hierarki, dengan setiap instance dapat memiliki beberapa namespace. Dari Cloud Data Fusion Studio, administrator dapat mengelola semua namespace secara terpusat, atau mengelolanya satu per satu. Cloud Data Fusion Studio memberikan kontrol sistem dan namespace berikut.

Administrasi sistem

Mengklik System admin di Cloud Data Fusion Studio akan menampilkan tab berikut:

  • Tab Management: melihat status respons berbagai layanan Cloud Data Fusion. Anda juga dapat melihat log untuk setiap layanan.

  • Tab Konfigurasi: buat, tampilkan, dan edit kontrol berikut:

Penyedia bertanggung jawab untuk membuat, menginisialisasi, dan menghancurkan lingkungan cloud tempat pipeline berjalan. Setiap penyedia menampilkan serangkaian konfigurasi yang digunakan untuk mengontrol jenis cluster yang dibuat dan dihapus. Penyedia yang berbeda membuat jenis cluster yang berbeda.

Setiap profil komputasi memiliki cakupan: sistem atau pengguna. Anda dapat menggunakan profil komputasi sistem untuk namespace apa pun di bawahnya. Profil komputasi pengguna ada dalam namespace, dan hanya pipeline dalam namespace tersebut yang dapat menggunakan profil komputasi pengguna.

Pada tab Configurations administrator sistem, Anda dapat membuat profil komputasi sistem yang diterapkan ke semua namespace. Cloud Data Fusion menetapkan profil komputasi default.

Saat membuat profil komputasi, Anda memilih penyedia, yang digunakan profil untuk membuat dan mengonfigurasi detail runtime cloud.

Preferensi sistem

Preferensi adalah konfigurasi standar yang berlaku di berbagai level dalam Cloud Data Fusion, termasuk sistem itu sendiri, namespace, aplikasi (yang berisi pipeline), dan program individual dalam pipeline. Preferensi menyediakan cara untuk menetapkan nilai default bagi konfigurasi yang umum digunakan. Setelan default ini dapat diwarisi oleh pipeline dan program di tingkat yang lebih rendah, sehingga mengurangi tugas konfigurasi berulang. Untuk informasi selengkapnya, lihat Mengelola makro, preferensi, dan argumen runtime.

Tindakan panggilan HTTP

Tindakan panggilan HTTP di halaman Admin sistem memungkinkan Anda berinteraksi dengan API Cloud Data Fusion sendiri, atau mungkin API layanan Google Cloud lainnya, langsung dari antarmuka Cloud Data Fusion Studio. Namun, untuk membangun pipeline pemrosesan data dengan sumber data eksternal, gunakan plugin HTTP dan Executor panggilan HTTP-nya dalam pipeline Anda untuk solusi yang lebih komprehensif. Ini sedikit berbeda dari tindakan panggilan HTTP, tetapi konsep dasarnya sama.

Konfigurasi dan kasus penggunaan

Tindakan panggilan HTTP terutama digunakan untuk tugas administratif atau tujuan konfigurasi dalam Cloud Data Fusion. API ini dapat Anda gunakan untuk berinteraksi dengan Cloud Data Fusion API atau layanan Google Cloud lainnya yang mengekspos HTTP API, langsung dari Cloud Data Fusion Studio.

Konfigurasi

Anda dapat menentukan detail berikut untuk panggilan HTTP:

  • URL: endpoint target layanan web yang ingin Anda panggil.
  • Method: metode HTTP yang akan digunakan, seperti GET, POST, atau PUT.
  • Opsional: Header: header kustom apa pun yang diperlukan untuk permintaan.
  • Opsional: Body: data yang akan dikirim dalam isi permintaan, seperti untuk panggilan POST dan PUT.

Selanjutnya, Anda dapat menjalankan panggilan HTTP yang ditentukan dan melihat respons dari layanan web dalam Cloud Data Fusion Studio.

Kasus penggunaan
  • Menguji panggilan Cloud Data Fusion API. Anda dapat menggunakan tindakan panggilan HTTP untuk menguji atau menjelajahi fungsi Cloud Data Fusion API langsung dari antarmuka web. Tindakan ini dapat berguna untuk memahami perilaku API atau memecahkan potensi masalah.
  • Kelola namespace (lanjutan). Meskipun ada UI khusus untuk pengelolaan namespace, tindakan panggilan HTTP dapat digunakan untuk tugas lanjutan dengan langsung melakukan panggilan ke Cloud Data Fusion API untuk pembuatan, penghapusan, atau konfigurasi namespace.
  • Berinteraksi dengan layanan Google Cloud lainnya (terbatas). Jika layanan Google Cloud lain yang Anda gunakan memiliki HTTP API yang didokumentasikan secara publik, Anda dapat menggunakan tindakan panggilan HTTP untuk berinteraksi dengan layanan tersebut, meskipun ini merupakan kasus penggunaan yang tidak umum.
Pertimbangan penting
  • Keamanan: berhati-hatilah saat menggunakan tindakan panggilan HTTP, terutama dengan data sensitif atau panggilan Cloud Data Fusion API yang dapat memengaruhi lingkungan Anda. Pastikan Anda memahami implikasi dari setiap panggilan API sebelum menjalankannya.
  • Batasan: Tindakan panggilan HTTP terutama ditujukan untuk tugas administratif dan tujuan pengujian. Cloud Data Fusion tidak dirancang untuk membangun pipeline pemrosesan data kompleks yang melibatkan manipulasi data dalam Cloud Data Fusion.
  • Alternatif untuk pipeline: untuk mengintegrasikan sumber data atau layanan eksternal ke dalam pipeline data Anda, gunakan plugin HTTP dan eksekutor panggilan HTTP terkaitnya dalam definisi pipeline Anda. Hal ini memberikan cara yang lebih andal dan terkontrol untuk mengelola interaksi HTTP dalam alur kerja pemrosesan data Anda.

Administrasi namespace

Dengan mengklik Admin namespace di Cloud Data Fusion Studio, Anda dapat mengelola konfigurasi untuk namespace tertentu. Untuk setiap namespace, Anda dapat menentukan aspek berikut:

  • Profil komputasi: profil yang disiapkan di admin namespace adalah profil komputasi pengguna. Hanya pipeline dalam namespace tersebut yang dapat menggunakan profil komputasi pengguna ini. Untuk mengetahui informasi selengkapnya, lihat Mengelola profil komputasi.
  • Preferensi: preferensi yang ditentukan pada tingkat namespace berlaku untuk namespace, aplikasi (yang berisi pipeline), dan program individual dalam pipeline. Untuk informasi selengkapnya, lihat Mengelola makro, preferensi, dan argumen runtime.
  • Koneksi: Cloud Data Fusion memungkinkan Anda menggunakan kembali koneksi ke sumber dan sink dalam pipeline data. Anda dapat menambahkan koneksi di halaman Admin Namespace. Untuk mengetahui informasi selengkapnya, lihat Membuat dan mengelola koneksi.
  • Driver: beberapa plugin di Cloud Data Fusion memerlukan driver JDBC untuk ditambahkan ke namespace. Misalnya, sebelum dapat menjalankan pipeline dengan plugin sumber batch MySQL, Anda harus menambahkan driver MySQL yang didukung ke namespace. Anda dapat mengupload atau menghapus driver JDBC ke namespace dari halaman Admin Namespace, atau langsung dari Hub. Untuk informasi selengkapnya, lihat Driver plugin.
  • Pengelolaan Kontrol Sumber: untuk mengelola proses pengembangan pipeline yang di-deploy secara efisien, Pengelolaan Kontrol Sumber memungkinkan Anda menghubungkan namespace dengan repositori sistem kontrol sumber. Untuk informasi selengkapnya, lihat Mengelola pipeline menggunakan Pengelolaan Kontrol Sumber.
  • Akun layanan: untuk mengontrol akses ke resource Google Cloud, namespace di Cloud Data Fusion akan menggunakan Agen Layanan Cloud Data Fusion API secara default.

Untuk isolasi data yang lebih baik, Anda dapat mengaitkan akun layanan Identity and Access Management (IAM) yang disesuaikan (dikenal sebagai Akun Layanan Per Namespace) dengan setiap namespace. Dengan akun layanan IAM yang disesuaikan, yang dapat berbeda untuk namespace yang berbeda, Anda dapat mengontrol akses ke resource Google Cloud di antara namespace untuk operasi waktu desain pipeline di Cloud Data Fusion, seperti pratinjau pipeline, Wrangler, dan validasi pipeline. Untuk informasi selengkapnya, lihat Kontrol akses dengan akun layanan namespace.

Langkah selanjutnya