Tetap teratur dengan koleksi
Simpan dan kategorikan konten berdasarkan preferensi Anda.
Halaman ini menjelaskan kemampuan administrasi yang disediakan Cloud Data Fusion Studio untuk mengelola konfigurasi.
Cloud Data Fusion mengikuti hierarki, dengan setiap instance dapat memiliki beberapa namespace. Dari Cloud Data Fusion Studio, administrator
dapat mengelola semua namespace secara terpusat, atau mengelolanya satu per satu.
Cloud Data Fusion Studio menyediakan kontrol sistem dan namespace berikut.
Administrasi sistem
Mengklik System admin di Cloud Data Fusion Studio akan menampilkan tab berikut:
Tab Pengelolaan: melihat status kesehatan berbagai
layanan Cloud Data Fusion. Anda juga dapat melihat log untuk setiap
layanan.
Tab Konfigurasi: membuat, melihat, dan mengedit kontrol berikut:
Profil komputasi sistem. Profil komputasi menunjukkan penyedia mana yang akan digunakan saat membuat cluster untuk eksekusi pipeline dan menerapkan konfigurasi terkait.
Penyedia bertanggung jawab untuk membuat, melakukan inisialisasi, dan menghancurkan
lingkungan cloud tempat pipeline berjalan. Setiap penyedia mengekspos serangkaian konfigurasi yang digunakan untuk mengontrol jenis cluster yang dibuat dan dihapus. Penyedia yang berbeda membuat berbagai jenis cluster.
Setiap profil komputasi memiliki cakupan: sistem atau pengguna. Anda dapat menggunakan profil komputasi sistem
untuk namespace apa pun di bawahnya. Profil komputasi pengguna ada dalam
namespace, dan hanya pipeline dalam namespace tersebut yang dapat menggunakan profil
komputasi pengguna.
Di tab Konfigurasi administrator sistem, Anda dapat membuat profil komputasi sistem yang diterapkan ke semua namespace. Cloud Data Fusion
menetapkan profil komputasi default.
Saat membuat profil komputasi, Anda memilih penyedia, yang digunakan profil untuk membuat dan mengonfigurasi detail runtime cloud.
Preferensi sistem
Preferensi adalah konfigurasi standar yang berlaku di berbagai tingkat dalam
Cloud Data Fusion, termasuk sistem itu sendiri, namespace, aplikasi
(yang berisi pipeline), dan setiap program dalam pipeline. Preferensi
memberikan cara untuk menetapkan nilai default untuk konfigurasi yang biasa digunakan. Default
ini dapat diwarisi oleh pipeline dan program di tingkat yang lebih rendah, sehingga mengurangi
tugas konfigurasi berulang. Untuk mengetahui informasi selengkapnya, lihat Mengelola makro,
preferensi, dan argumen runtime.
Tindakan panggilan HTTP
Tindakan panggilan HTTP di halaman System admin memungkinkan Anda berinteraksi dengan API Cloud Data Fusion sendiri, atau mungkin API layanan Google Cloud lainnya, langsung dari antarmuka Cloud Data Fusion Studio. Namun, untuk membangun pipeline pemrosesan data dengan sumber data eksternal, gunakan plugin HTTP dan Eksekutor panggilan HTTP-nya dalam pipeline Anda untuk solusi yang lebih komprehensif. Tindakan ini sedikit berbeda dengan tindakan panggilan HTTP, tetapi
konsep dasarnya sama.
Konfigurasi dan kasus penggunaan
Tindakan panggilan HTTP terutama digunakan untuk tugas administratif atau
tujuan konfigurasi dalam Cloud Data Fusion. Dengan API ini, Anda dapat berinteraksi dengan Cloud Data Fusion API atau layanan Google Cloud lainnya yang mengekspos HTTP API, langsung dari Cloud Data Fusion Studio.
Konfigurasi
Anda dapat menentukan detail berikut untuk panggilan HTTP:
URL: endpoint target layanan web yang ingin Anda
panggil.
Method: metode HTTP yang akan digunakan, seperti GET,
POST, atau PUT.
Opsional: Header: header kustom apa pun yang diperlukan untuk
permintaan.
Opsional: Isi: data yang akan dikirim dalam isi permintaan, seperti
untuk panggilan POST dan PUT.
Kemudian, Anda dapat menjalankan panggilan HTTP yang ditentukan dan melihat respons dari layanan web dalam Cloud Data Fusion Studio.
Kasus penggunaan
Menguji panggilan Cloud Data Fusion API. Anda dapat menggunakan tindakan panggilan HTTP untuk menguji atau menjelajahi fungsi Cloud Data Fusion API secara langsung dari antarmuka web. Tindakan ini dapat membantu untuk memahami perilaku API atau memecahkan masalah yang mungkin terjadi.
Mengelola namespace (lanjutan). Meskipun ada UI khusus untuk
pengelolaan namespace, tindakan panggilan HTTP dapat digunakan untuk tugas lanjutan
dengan langsung melakukan panggilan ke Cloud Data Fusion API untuk pembuatan, penghapusan, atau konfigurasi
namespace.
Berinteraksi dengan layanan Google Cloud lain (terbatas).
Jika layanan Google Cloud lain yang Anda gunakan memiliki HTTP API yang didokumentasikan secara publik, Anda dapat menggunakan tindakan panggilan HTTP untuk berinteraksi dengan layanan tersebut, meskipun ini adalah kasus penggunaan yang tidak umum.
Pertimbangan penting
Keamanan: berhati-hatilah saat menggunakan tindakan panggilan HTTP, terutama dengan data sensitif atau panggilan Cloud Data Fusion API yang dapat memengaruhi lingkungan Anda. Pastikan Anda memahami
implikasi setiap panggilan API sebelum menjalankannya.
Batasan: tindakan panggilan HTTP terutama untuk
tugas administratif dan tujuan pengujian. Alat ini tidak dirancang untuk membuat
pipeline pemrosesan data yang kompleks yang melibatkan manipulasi data dalam
Cloud Data Fusion.
Alternatif untuk pipeline: untuk mengintegrasikan sumber data atau layanan eksternal ke dalam pipeline data, gunakan plugin HTTP dan eksekutor panggilan HTTP terkait dalam definisi pipeline Anda. Hal ini
memberikan cara yang lebih andal dan terkontrol untuk mengelola interaksi HTTP
dalam alur kerja pemrosesan data Anda.
Administrasi namespace
Dengan mengklik Admin namespace di Cloud Data Fusion Studio, Anda dapat mengelola konfigurasi untuk namespace tertentu. Untuk setiap namespace, Anda dapat menentukan aspek berikut:
Profil komputasi: profil yang disiapkan di Admin namespace adalah profil komputasi pengguna. Hanya pipeline di namespace tersebut yang dapat menggunakan profil komputasi pengguna ini. Untuk mengetahui informasi selengkapnya, lihat Mengelola profil komputasi.
Preferensi: preferensi yang ditentukan di tingkat namespace berlaku untuk
namespace, aplikasi (yang berisi pipeline), dan setiap
program dalam pipeline. Untuk mengetahui informasi selengkapnya, lihat Mengelola makro,
preferensi, dan argumen runtime.
Koneksi: Cloud Data Fusion memungkinkan Anda menggunakan kembali koneksi ke
sumber dan sink dalam pipeline data. Anda dapat menambahkan koneksi di halaman Admin Namespace. Untuk informasi selengkapnya, lihat
Membuat dan mengelola koneksi.
Driver: beberapa plugin di Cloud Data Fusion memerlukan driver JDBC untuk
ditambahkan ke namespace. Misalnya, sebelum dapat menjalankan pipeline dengan
plugin sumber batch MySQL, Anda harus menambahkan driver MySQL yang didukung ke
namespace. Anda dapat mengupload atau menghapus driver JDBC ke namespace dari halaman Admin Namespace, atau langsung dari Hub. Untuk informasi selengkapnya, lihat
Driver plugin.
Source Control Management: untuk mengelola proses pengembangan
pipeline yang di-deploy secara efisien, Source Control Management memungkinkan Anda menghubungkan
namespace dengan repositori sistem kontrol sumber Anda. Untuk mengetahui informasi
selengkapnya, lihat Mengelola pipeline menggunakan Pengelolaan Kontrol Sumber.
Akun layanan: untuk mengontrol akses ke resource Google Cloud ,
namespace di Cloud Data Fusion menggunakan
Cloud Data Fusion API Service Agent secara default.
Untuk isolasi data yang lebih baik, Anda dapat mengaitkan akun layanan Identity and Access Management (IAM) yang disesuaikan (dikenal sebagai Akun Layanan Per Namespace) dengan setiap namespace. Akun layanan IAM yang disesuaikan, yang dapat berbeda untuk namespace yang berbeda, memungkinkan Anda mengontrol akses ke resource Google Cloud antar-namespace untuk operasi waktu desain pipeline di Cloud Data Fusion, seperti pratinjau pipeline, Wrangler, dan validasi pipeline. Untuk informasi selengkapnya, lihat
Kontrol akses dengan akun layanan namespace.
[[["Mudah dipahami","easyToUnderstand","thumb-up"],["Memecahkan masalah saya","solvedMyProblem","thumb-up"],["Lainnya","otherUp","thumb-up"]],[["Sulit dipahami","hardToUnderstand","thumb-down"],["Informasi atau kode contoh salah","incorrectInformationOrSampleCode","thumb-down"],["Informasi/contoh yang saya butuhkan tidak ada","missingTheInformationSamplesINeed","thumb-down"],["Masalah terjemahan","translationIssue","thumb-down"],["Lainnya","otherDown","thumb-down"]],["Terakhir diperbarui pada 2025-09-04 UTC."],[[["\u003cp\u003eCloud Data Fusion Studio enables administrators to manage configurations across multiple namespaces, either centrally or individually, offering both system and namespace-specific controls.\u003c/p\u003e\n"],["\u003cp\u003eSystem administrators can manage compute profiles, define system-wide preferences, and view the health status of Cloud Data Fusion services through the Management and Configuration tabs.\u003c/p\u003e\n"],["\u003cp\u003eThe HTTP call action allows for direct interaction with Cloud Data Fusion's API and other Google Cloud service APIs for administrative tasks, but the HTTP plugin is recommended for building pipelines with external data sources.\u003c/p\u003e\n"],["\u003cp\u003eNamespace administrators can configure user compute profiles, preferences, connections, drivers, source control management, and service accounts, each specific to the namespace.\u003c/p\u003e\n"],["\u003cp\u003eCompute profiles determine which provisioner is used to create the cloud environment for pipelines, with system profiles applying to all namespaces and user profiles confined to a single namespace.\u003c/p\u003e\n"]]],[],null,["# Manage Studio administration\n\nThis page explains the administration capabilities that the Cloud Data Fusion Studio provides to manage configurations. Cloud Data Fusion follows a hierarchy, where each instance can have multiple [namespaces](/data-fusion/docs/how-to/control-access-in-namespace). From the Cloud Data Fusion Studio, administrators can centrally manage all namespaces, or manage them individually. Cloud Data Fusion Studio provides the following system and namespace controls.\n\n\u003cbr /\u003e\n\nSystem administration\n---------------------\n\nClicking **System admin** in the Cloud Data Fusion Studio displays the\nfollowing tabs:\n\n- The **Management** tab: view the health status of various Cloud Data Fusion services. You can also view logs for each of the services.\n- The **Configuration** tab: create, view, and edit the following controls:\n\n - **Namespaces** . For more information, see [Access control with a namespace service account](/data-fusion/docs/how-to/control-access-in-namespace).\n - **System compute profiles** . [Compute profiles](/data-fusion/docs/concepts/overview#concepts) indicate which provisioner to use when creating a cluster for pipeline execution and applying the associated configurations.\n\n*Provisioners* are responsible for creating, initializing, and destroying the\ncloud environment that pipelines run in. Each provisioner exposes a set of\nconfigurations that are used to control what type of cluster is created\nand deleted. Different provisioners create different types of clusters.\n| **Note:** The Dataproc provisioner is recommended.\n\nEach compute profile has a scope: system or user. You can use a system compute\nprofile for any namespaces under it. User compute profiles exist within a\nnamespace, and only pipelines in that namespace can use the user compute\nprofiles.\n\nOn the system administrator **Configurations** tab, you can create a system\ncompute profile that's applied to all the namespaces. Cloud Data Fusion\nassigns a default compute profile.\n\nWhen you create a compute profile, you select the provisioner, which the profile\nuses to create and configure the cloud runtime details.\n| **Note:** In general, provisioner configurations can be overridden at runtime. For more information, see [Manage compute profiles](/data-fusion/docs/how-to/manage-compute-profiles).\n\nSystem preferences\n------------------\n\nPreferences are predefined configurations that apply at various levels within\nCloud Data Fusion, including the system itself, namespaces, applications\n(which contain pipelines), and individual programs within pipelines. Preferences\nprovide a way to set default values for commonly used configurations. These\ndefaults can be inherited by pipelines and programs at lower levels, reducing\nrepetitive configuration tasks. For more information, see [Manage macros,\npreferences, and runtime arguments](/data-fusion/docs/how-to/manage-macros-prefs-and-runtime-args).\n\n### HTTP call action\n\nThe HTTP call action on the **System admin** page lets you interact with\nCloud Data Fusion's own API, or potentially other Google Cloud service\nAPIs, directly from the Cloud Data Fusion Studio interface. However, for\nbuilding data processing pipelines with external data sources, instead use the\nHTTP plugin and its HTTP call Executor within your pipelines for a more\ncomprehensive solution. It differs slightly from the HTTP call action, but the\nunderlying concepts are alike. \n\n#### Configurations and use cases\n\nThe HTTP call action is primarily used for administrative tasks or\nconfiguration purposes within Cloud Data Fusion. It lets you interact\nwith the Cloud Data Fusion API or other Google Cloud services\nthat expose an HTTP API, directly from the Cloud Data Fusion\nStudio.\n\n##### Configurations\n\nYou can define the following details for an HTTP call:\n\n- **URL**: the target endpoint of the web service you want to call.\n- **Method** : the HTTP method to use, such as `GET`, `POST`, or `PUT`.\n- Optional: **Headers**: any custom headers required for the request.\n- Optional: **Body** : data to be sent in the request body, such as for `POST` and `PUT` calls.\n\nYou can then execute the defined HTTP call and view the response from the\nweb service within the Cloud Data Fusion Studio.\n\n##### Use cases\n\n- **Test Cloud Data Fusion API calls.** You can use the HTTP call action to test or explore Cloud Data Fusion API functionalities directly from the web interface. This action can be helpful for understanding API behavior or troubleshooting potential issues.\n- **Manage namespaces (advanced).** While there's a dedicated UI for namespace management, the HTTP call action can be used for advanced tasks by directly making calls to the Cloud Data Fusion API for namespace creation, deletion, or configuration.\n- **Interacting with other Google Cloud services (limited).** If other Google Cloud services you use have a publicly documented HTTP API, you can use the HTTP call action to interact with those services, though this is an uncommon use case.\n\n##### Important considerations\n\n- **Security**: be cautious when using the HTTP call action, especially with sensitive data or Cloud Data Fusion API calls that could impact your environment. Be sure that you understand the implications of each API call before executing it.\n- **Limitations**: the HTTP call action is primarily for administrative tasks and testing purposes. It's not designed for building complex data processing pipelines that involve data manipulation within Cloud Data Fusion.\n- **Alternative for pipelines**: for integrating external data sources or services into your data pipelines, use the HTTP plugin and its associated HTTP call executor within your pipeline definitions. This provides a more robust and controlled way to manage HTTP interactions within your data processing workflows.\n\nNamespace administration\n------------------------\n\nClicking **Namespace admin** in the Cloud Data Fusion Studio lets you\nmanage the configurations for the specific namespace. For each namespace, you\ncan define the following aspects:\n\n- **Compute profiles** : the profiles set up in **Namespace admin** are *user* compute profiles. Only pipelines in that namespace can use these user compute profiles. For more information, see [Manage compute profiles](/data-fusion/docs/how-to/manage-compute-profiles).\n- **Preferences** : preferences defined at namespace level are applicable to the namespace, applications (which contain pipelines), and individual programs within pipelines. For more information, see [Manage macros,\n preferences, and runtime arguments](/data-fusion/docs/how-to/manage-macros-prefs-and-runtime-args).\n- **Connections** : Cloud Data Fusion lets you reuse connections to sources and sinks in data pipelines. You can add connections in the Namespace Admin page. For more information, see [Create and manage connections](/data-fusion/docs/how-to/managing-connections).\n- **Drivers** : some plugins in Cloud Data Fusion require a JDBC driver to be added to the namespace. For example, before you can run a pipeline with a MySQL batch source plugin, you must add the supported MySQL driver to the namespace. You can upload or remove JDBC drivers to a namespace from the Namespace Admin page, or directly from the Hub. For more information, see [Plugin drivers](/data-fusion/docs/how-to/source-control-management).\n- **Source Control Management** : to efficiently manage the development process of deployed pipelines, Source Control Management lets you connect a namespace with the repository of your source control system. For more information, see [Manage pipelines using Source Control Management](/data-fusion/docs/how-to/source-control-management).\n- **Service account** : to control access to Google Cloud resources, namespaces in Cloud Data Fusion use the [Cloud Data Fusion API Service Agent](/iam/docs/understanding-roles#datafusion.serviceAgent) by default.\n\nFor better data isolation, you can associate a customized\nIdentity and Access Management (IAM) service account (known as a Per Namespace\nService Account) with each namespace. The customized IAM service\naccount, which can be different for different namespaces, lets you control\naccess to Google Cloud resources between namespaces for pipeline\ndesign-time operations in Cloud Data Fusion, such as pipeline preview,\nWrangler, and pipeline validation. For more information, see\n[Access control with namespace service account](/data-fusion/docs/how-to/control-access-in-namespace).\n\nWhat's next\n-----------\n\n- Learn more about [compute profiles](/data-fusion/docs/how-to/manage-compute-profiles).\n- Learn more about [macros, preferences, and runtime arguments](/data-fusion/docs/how-to/manage-macros-prefs-and-runtime-args)."]]
