システム管理
Cloud Data Fusion Studio で [システム管理] をクリックすると、次のタブが表示されます。
- [管理] タブ: さまざまな Cloud Data Fusion サービスのヘルス ステータスを確認します。各サービスのログも表示できます。
[構成] タブ: 次のコントロールを作成、表示、編集します。
- Namespace。詳細については、名前空間サービス アカウントを使用したアクセス制御をご覧ください。
- システムのコンピューティング プロファイル。コンピューティング プロファイルは、パイプラインの実行用クラスタの作成と、関連する構成の適用時に使用するプロビジョナーを示します。
プロビジョナーは、パイプラインが実行されるクラウド環境の作成、初期化、破棄を行います。各プロバイダは、作成および削除されるクラスタのタイプを制御するために使用される一連の構成を公開します。プロビジョナーによって、作成されるクラスタのタイプが異なります。
各コンピューティング プロファイルには、システムまたはユーザーのスコープがあります。システム コンピューティング プロファイルは、その下の任意の名前空間に使用できます。ユーザー コンピューティング プロファイルは Namespace 内に存在し、その Namespace 内のパイプラインのみがユーザー コンピューティング プロファイルを使用できます。
システム管理者の [構成] タブで、すべての Namespace に適用されるシステム コンピューティング プロファイルを作成できます。Cloud Data Fusion はデフォルトのコンピューティング プロファイルを割り当てます。
コンピューティング プロファイルを作成するときに、プロビジョナーを選択します。このプロビジョナーは、プロファイルがクラウド ランタイムの詳細を作成して構成するために使用します。
システム環境設定
設定は、システム自体、名前空間、アプリケーション（パイプラインを含む）、パイプライン内の個々のプログラムなど、Cloud Data Fusion 内のさまざまなレベルに適用される事前定義された構成です。設定を使用すると、よく使用される構成のデフォルト値を設定できます。これらのデフォルトは、下位レベルのパイプラインとプログラムによって継承できるため、繰り返しの構成タスクを減らすことができます。詳細については、マクロ、設定、ランタイムの引数を管理するをご覧ください。
HTTP 呼び出しアクション
[システム管理] ページの HTTP 呼び出しアクションを使用すると、Cloud Data Fusion Studio インターフェースから直接、Cloud Data Fusion 独自の API または他の Google Cloud サービス API を操作できます。ただし、外部データソースを使用してデータ処理パイプラインを構築する場合は、より包括的なソリューションとして、HTTP プラグインとその HTTP 呼び出しエグゼキュータをパイプライン内で使用します。HTTP 呼び出しアクションとは若干異なりますが、基本的なコンセプトは同じです。
構成とユースケース
HTTP 呼び出しアクションは、主に Cloud Data Fusion 内の管理タスクや構成目的で使用されます。これにより、Cloud Data Fusion Studio から直接、Cloud Data Fusion API または HTTP API を公開する他の Google Cloud サービスとやり取りできます。
構成
HTTP 呼び出しの詳細は次のとおりです。
- URL: 呼び出すウェブサービスのターゲット エンドポイント。
- メソッド: 使用する HTTP メソッド（
GET、POST、PUTなど）。 - 省略可: Headers: リクエストに必要なカスタム ヘッダー。
- 省略可: Body:
POST呼び出しやPUT呼び出しなど、リクエスト本文で送信されるデータ。
定義した HTTP 呼び出しを実行し、Cloud Data Fusion Studio 内でウェブサービスからのレスポンスを表示できます。
ユースケース
- Cloud Data Fusion API 呼び出しをテストする。HTTP 呼び出しアクションを使用すると、ウェブ インターフェースから直接 Cloud Data Fusion API の機能をテストまたは確認できます。このアクションは、API の動作を把握したり、潜在的な問題のトラブルシューティングを行ったりする際に役立ちます。
- 名前空間を管理する（上級者向け）。名前空間の管理専用の UI がありますが、HTTP 呼び出しアクションを使用して、Cloud Data Fusion API を直接呼び出して、名前空間の作成、削除、構成などの高度なタスクを行うことができます。
- 他の Google Cloud サービスとの連携（制限付き）。使用している他の Google Cloud サービスに一般公開されている HTTP API がある場合は、HTTP 呼び出しアクションを使用してこれらのサービスとやり取りできますが、これは一般的なユースケースではありません。
重要な考慮事項
- セキュリティ: HTTP 呼び出しアクションを使用する際は、特に環境に影響する可能性のある機密データや Cloud Data Fusion API 呼び出しには注意してください。各 API 呼び出しを実行する前に、その影響について十分に理解してください。
- 制限事項: HTTP 呼び出しアクションは、主に管理タスクとテストを目的としています。Cloud Data Fusion 内でのデータ操作を含む複雑なデータ処理パイプラインの構築には適していません。
- パイプラインの代替方法: 外部データソースまたはサービスをデータ パイプラインに統合するには、パイプライン定義内で HTTP プラグインとそれに関連付けられた HTTP 呼び出しエグゼキュータを使用します。これにより、データ処理ワークフロー内で HTTP インタラクションをより堅牢かつ制御された方法で管理できます。
Namespace の管理
Cloud Data Fusion Studio で [Namespace admin] をクリックすると、特定の名前空間の構成を管理できます。Namespace ごとに、次の要素を定義できます。
- コンピューティング プロファイル: Namespace 管理で設定されたプロファイルは、ユーザーのコンピューティング プロファイルです。これらのユーザー コンピューティング プロファイルは、その名前空間内のパイプラインのみが使用できます。詳細については、コンピューティング プロファイルを管理するをご覧ください。
- 設定: 名前空間レベルで定義された設定は、名前空間、アプリケーション（パイプラインを含む）、パイプライン内の個々のプログラムに適用されます。詳細については、マクロ、設定、ランタイムの引数を管理するをご覧ください。
- 接続: Cloud Data Fusion では、データ パイプラインでソースとシンクへの接続を再利用できます。接続は [Namespace 管理者] ページで追加できます。詳細については、接続の作成と管理をご覧ください。
- ドライバ: Cloud Data Fusion の一部のプラグインでは、Namespace に JDBC ドライバを追加する必要があります。たとえば、MySQL バッチソース プラグインを使用してパイプラインを実行する前に、サポートされている MySQL ドライバを Namespace に追加する必要があります。JDBC ドライバを Namespace にアップロードまたは削除するには、Namespace 管理者ページから、または Hub から直接行います。詳細については、プラグイン ドライバをご覧ください。
- ソース コントロール管理: デプロイされたパイプラインの開発プロセスを効率的に管理するために、ソース コントロール管理では、名前空間をソース コントロール システムのリポジトリに接続できます。詳細については、ソース管理を使用してパイプラインを管理するをご覧ください。
- サービス アカウント: Google Cloud リソースへのアクセスを制御するため、Cloud Data Fusion の Namespace はデフォルトで Cloud Data Fusion API サービス エージェントを使用します。
データの分離を適切に行うには、カスタマイズされた Identity and Access Management（IAM）サービス アカウント（Namespace ごとのサービス アカウント）を各 Namespace に関連付けます。カスタマイズされた IAM サービス アカウントは名前空間ごとに異なる場合があり、パイプラインのプレビュー、Wrangler、パイプラインの検証など、Cloud Data Fusion でのパイプライン設計時のオペレーションのために、名前空間の間の Google Cloud リソースへのアクセスを制御できます。詳細については、名前空間サービス アカウントを使用したアクセス制御をご覧ください。
次のステップ
- コンピューティング プロファイルの詳細を確認する。
- 詳しくは、マクロ、設定、ランタイムの引数をご覧ください。