Cloud Data Fusion の概要: コンソール

このページでは、Cloud Data Fusion: Console(コントロール プレーンとも呼ばれます)について説明します。これは、Cloud Data Fusion インスタンスを管理できる一連の API オペレーションと Google Cloud コンソール インターフェースです。たとえば、コンソールを使用して、インスタンスの作成、削除、再起動、更新を行うことができます。

始める前に

Cloud Data Fusion: コンソールの概要

以降のセクションでは、コンソールの重要な側面について説明します。

インスタンス

インスタンスとは、Cloud Data Fusion 固有のデプロイメントのことです。Cloud Data Fusion の使用を開始するには、Google Cloud コンソールでインスタンスを作成します。1 つの Google Cloud プロジェクトに複数の Cloud Data Fusion インスタンスを作成できます。インスタンスごとに Google Cloud リージョンを指定できます。各インスタンスは、一意の独立した Cloud Data Fusion デプロイメントです。このデプロイメントには、パイプラインのライフサイクル管理、オーケストレーション、調整とメタデータの管理を処理する一連のサービスが含まれています。これらのサービスは、テナント プロジェクトの長時間実行リソースを使用して実行されます。

インスタンスを作成する際は、次のオプションを検討してください。

Edition

Cloud Data Fusion の Developer、Basic、Enterprise エディションのいずれかでインスタンスを作成します。次の基準に基づいてエディションを選択します。

  • 費用
  • パイプライン実行の同時実行に関する上限
  • ロールベース アクセス制御(RBAC)の可用性

エディションは、次のようなユースケースを対象としています。

Cloud Data Fusion のエディション ユースケース
Developer Edition 開発、テスト、小規模な統合用
Basic エディション 中程度のニーズのある本番環境の場合
Enterprise エディション RBAC を備えた大規模でミッション クリティカルなデータ パイプライン向け

パブリック インスタンスまたはプライベート インスタンス

要件に応じて、パブリック インスタンスとプライベート インスタンスのどちらが必要かを決定します。Cloud Data Fusion のプライベート インスタンスとパブリック インスタンスの主な違いは、ネットワーク接続とセキュリティです。

Cloud Data Fusion インスタンス タイプ 動作
一般公開インスタンス
  • ネットワーク接続: パブリック IP アドレスを使用してインターネットに接続します。
  • データアクセス: 公共のインターネット上のデータソースに直接アクセスします。
詳細については、パブリック インスタンスを作成するをご覧ください。
プライベート インスタンス
  • ネットワーク接続: Virtual Private Cloud(VPC)ネットワーク内のプライベート IP アドレスを使用します。
  • データアクセス: データソースにアクセスするには事前構成された接続が必要です。次の接続がサポートされています。
    • VPN または Cloud Interconnect 経由で接続されたオンプレミス データソース。
    • 同じ VPC 内でプライベートに実行されている他の Google Cloud サービス。

承認とサービス アカウント

Cloud Data Fusion には 2 つのサービス アカウントがあります。

設計時のサービス アカウント
Cloud Data Fusion API サービス エージェントと呼ばれるこの Google 管理のサービス アカウントは、Cloud Data Fusion のテナント プロジェクトでお客様のプロジェクト リソースにアクセスするために使用されます。
実行時のサービス アカウント
これは、他の Google Cloud リソースにアクセスするジョブをデプロイするために Cloud Data Fusion が作成するデフォルトの Compute Engine サービス アカウントです。デフォルトでは、パイプラインの実行中に Cloud Data Fusion が Dataproc リソースにアクセスできるようにするために、Dataproc クラスタ VM に接続されています。

詳細については、Cloud Data Fusion のサービス アカウントをご覧ください。

ロギングとモニタリング

Cloud Logging と Cloud Monitoring は、Cloud Data Fusion パイプラインの健全性とパフォーマンスに関する分析情報を取得するうえで非常に重要です。ロギングとモニタリングは、Cloud Data Fusion インスタンスを作成するときにのみ有効にします。

ロギングとモニタリングを有効にすると、Google Cloud コンソールのログビューア ページで Cloud Data Fusion パイプライン ログを表示できます。

Monitoring には、Cloud Data Fusion 用の組み込みダッシュボードが用意されています。カスタム ダッシュボードを作成して、特定の指標をモニタリングすることもできます。

リネージと Dataplex の統合

Cloud Data Fusion では、リネージ用に Dataplex との統合が用意されています。詳細については、Dataplex でリネージを表示するをご覧ください。

暗号化

顧客管理の暗号鍵(CMEK)を使用すると、Cloud Key Management Service で管理可能な鍵で保存データを暗号化できます。CMEK では、ユーザーはテナント プロジェクトの Google 内部リソースに書き込まれたデータと、Cloud Data Fusion パイプラインによって書き込まれたデータを管理できます。詳細については、顧客管理のデータ暗号化をご覧ください。

ロールベースのアクセス制御(RBAC)による権限の管理

Cloud Data Fusion では、Identity and Access Management(IAM)で制御できます。

Cloud Data Fusion: Studio のオペレーションで行われるアクションの詳細な権限には、RBAC を使用します。詳細については、RABC の概要をご覧ください。

バージョン アップグレード

Cloud Data Fusion には複数のバージョンがあります。Cloud Data Fusion コンソールでインスタンスを新しいバージョンにアップグレードできます。詳細については、Cloud Data Fusion でのバージョニングをご覧ください。

次のステップ