Cloud Data Fusion でデータを取り込む

Cloud Data Fusion には、Dataplex でサポートされているアセットのいずれかにデータを取り込むための Dataplex Sink プラグインが用意されています。

始める前に

  • Cloud Data Fusion インスタンスを作成します（ない場合）。このプラグインは、Cloud Data Fusion バージョン 6.6 以降で動作するインスタンスで使用できます。
  • データが取り込まれる BigQuery データセットや Cloud Storage バケットは、Dataplex レイクの一部である必要があります。
  • Cloud Storage エンティティから読み込まれるデータの場合は、Dataproc Metastore をレイクに接続する必要があります。
  • Cloud Storage エンティティでの CSV データはサポートされていません。
  • Dataplex プロジェクトでは、通常 default に設定されているサブネットワークで限定公開の Google アクセスを有効にするか、internal_ip_only を false に設定します。

必要なロール

ロールの管理に必要な権限を取得するには、Dataproc サービス エージェントと Cloud Data Fusion サービス エージェント（service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com ）に次の IAM ロールを付与するように管理者に依頼してください。

ロールの付与の詳細については、アクセスの管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

パイプラインにプラグインを追加する

  1. Google Cloud コンソールで、Cloud Data Fusion の [インスタンス] ページに移動します。

    [インスタンス] に移動

    このページでは、インスタンスを管理できます。

  2. [インスタンスを表示] をクリックして、Cloud Data Fusion UI でインスタンスを開きます。

  3. [スタジオ] ページに移動し、[シンク] メニューを開いて、[Dataplex] をクリックします。

プラグインを構成する

このプラグインを [Studio] ページでパイプラインに追加した後、Dataplex シンクをクリックし、そのプロパティを構成して保存します。

構成の詳細については、Dataplex シンクのリファレンスをご覧ください。

省略可: サンプル パイプラインを使ってみる

利用できるサンプル パイプラインには、SAP ソースから Dataplex シンクへのパイプライン、Dataplex ソースから BigQuery シンクへのパイプラインなどがあります。

サンプル パイプラインを使用するには、Cloud Data Fusion UI でインスタンスを開き、[Hub] > [Pipelines] をクリックして、Dataplex パイプラインのいずれかを選択します。パイプラインの作成するためのダイアログが開きます。

パイプラインを実行する

  1. パイプラインをデプロイしたら、Cloud Data Fusion の [Studio] ページでパイプラインを開きます。

  2. [構成] > [リソース] をクリックします。

  3. （省略可）全体的なデータサイズとパイプラインで使用される変換の数に基づいて、[エグゼキュータの CPU] と [メモリ] を変更します。

  4. [保存] をクリックします。

  5. データ パイプラインを開始するには、[実行] をクリックします。

次のステップ