Dataplex ユニバーサル カタログで Dataform リポジトリのメタデータを管理する

このドキュメントでは、Dataplex Universal Catalog を使用して Dataform リポジトリのメタデータを表示し、アスペクトでアノテーションを付ける方法について説明します。

Dataplex Universal Catalog を使用すると、メタデータを保存して管理できます。Dataform リポジトリは、追加の構成なしでデフォルトで Dataplex Universal Catalog で使用できます。Dataplex Universal Catalog は、Dataform リポジトリから次のメタデータを自動的に取得します。

  • データアセット名
  • データアセットの親
  • データアセットのロケーション
  • データアセットのタイプ
  • 対応する Google Cloud プロジェクト
  • サードパーティのリポジトリのソース
  • サービス エージェントまたはサービス アカウント

始める前に

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Enable the Dataplex API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  3. 必要な Identity and Access Management（IAM）権限があることを確認します。

必要なロール

Dataplex Universal Catalog で Dataform リポジトリを管理するには、Dataform リソースへのアクセス権を付与する事前定義された Dataform ロールと、必要な Dataplex Universal Catalog ロールが必要です。

Dataplex Universal Catalog でメタデータを管理する

Dataplex Universal Catalog は、Dataform リポジトリを次の値を持つエントリとしてログに記録します。

システム エントリ グループ
Dataform リポジトリのシステム エントリ グループは @dataform です。Dataplex Universal Catalog でリポジトリ エントリの詳細を表示するには、dataform システム エントリ グループを表示する必要があります。エントリ グループ内のすべてのエントリのリストを表示する方法については、Dataplex のドキュメントのエントリ グループの詳細を表示するをご覧ください。
システム エントリのタイプ
Dataform リポジトリのシステム エントリ タイプは dataform-repository です。Dataform リポジトリの詳細を表示するには、dataform-repository システム エントリ タイプを表示する必要があります。選択したエントリタイプの詳細を表示する手順については、Dataplex Universal Catalog ドキュメントのエントリタイプの詳細を表示するをご覧ください。選択したエントリの詳細を表示する手順については、Dataplex Universal Catalog ドキュメントのエントリの詳細を表示するをご覧ください。

アセットを検索する

Dataplex Universal Catalog でデータアセットを検索する方法については、Dataplex Universal Catalog ドキュメントの Dataplex Universal Catalog でデータアセットを検索するをご覧ください。

リポジトリにアノテーションを付ける

Dataplex Universal Catalog の Dataform リポジトリにコンテキストを追加するには、Dataform エントリにアスペクトをアノテーションします。

Dataform リポジトリのシステム アスペクト タイプは dataform-repository です。

エントリにアスペクトをアノテーションする方法については、Dataplex Universal Catalog ドキュメントのアスペクトを管理してメタデータを拡充するをご覧ください。

制限事項

Dataplex Universal Catalog で Dataform リポジトリを管理する場合は、次の制限事項が適用されます。

  • Dataplex Universal Catalog で Dataform ファイルレベルのアセット（テーブルやビューなど）を表示または管理することはできません。

ロケーション

Dataplex Universal Catalog を使用すると、すべての Dataform ロケーションから Dataform リポジトリを管理できます。

割り当て

Dataplex Universal Catalog で Dataform リポジトリを管理する場合は、Dataplex Universal Catalog の割り当てと上限が適用されます。

料金

Dataplex Universal Catalog で Dataform リポジトリを管理する場合は、Dataplex Universal Catalog の料金が適用されます。

次のステップ