Cloud Data Fusion を使用してデータを処理する

Cloud Data Fusion には、Cloud Storage または BigQuery アセットに存在する Dataplex エンティティ（テーブル）からデータを読み取るための Dataplex Source プラグインが用意されています。Dataplex Source プラグインを使用すると、Cloud Storage アセット内のデータをテーブルとして扱い、SQL クエリでデータをフィルタリングできます。

始める前に

  • Cloud Data Fusion インスタンスを作成します（ない場合）。このプラグインは、Cloud Data Fusion バージョン 6.6 以降で動作するインスタンスで使用できます。

  • ソースデータは、すでに Dataplex ゾーンとアセット（Cloud Storage バケットと BigQuery データセットのいずれか）の一部である必要があります。

  • Cloud Storage のテーブルを使用するには、レイクのメタストアを構成する必要があります。

  • Cloud Storage エンティティから読み込まれるデータの場合は、Dataproc Metastore をレイクに接続する必要があります。

  • Cloud Storage エンティティでの CSV データはサポートされていません。

  • Dataplex プロジェクトでは、通常 default に設定されているサブネットワークで限定公開の Google アクセスを有効にするか、internal_ip_only を false に設定します。

制限事項

  • Cloud Storage アセットの場合: このプラグインは CSV ファイルからの読み取りをサポートしていません。JSON、Avro、Parquet、ORC の形式からの読み取りをサポートします。

  • Cloud Storage アセットの場合、[パーティション開始日] と [パーティション終了日] は適用されません。

必要なロール

ロールの管理に必要な権限を取得するには、Dataproc サービス エージェントと Cloud Data Fusion サービス エージェント（service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com）に対する次の IAM ロールを付与するよう管理者に依頼してください。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

パイプラインにプラグインを追加する

  1. Google Cloud コンソールで、Cloud Data Fusion の [インスタンス] ページに移動します。

    [インスタンス] に移動

    このページでは、インスタンスを管理できます。

  2. [インスタンスを表示] をクリックして、Cloud Data Fusion UI でインスタンスを開きます。

  3. [Studio] ページに移動し、[ソース] メニューを展開して、[Dataplex] をクリックします。

プラグインを構成する

このプラグインを [Studio] ページでパイプラインに追加した後、Dataplex ソースをクリックしてプロパティを構成します。

構成の詳細については、Dataplex Source リファレンスをご覧ください。

省略可: サンプル パイプラインを使ってみる

利用できるサンプル パイプラインには、SAP ソースから Dataplex シンクへのパイプライン、Dataplex ソースから BigQuery シンクへのパイプラインなどがあります。

サンプル パイプラインを使用するには、Cloud Data Fusion UI でインスタンスを開き、[Hub] > [Pipelines] をクリックして、Dataplex パイプラインのいずれかを選択します。パイプラインの作成するためのダイアログが開きます。

次のステップ