Data Catalog を使用している場合は、このドキュメントに記載されている手順に沿って、Data Catalog のコンテンツと使用状況を Dataplex Catalog に移行できます。
カタログの使用が初めての場合は、Dataplex Catalog をデフォルトのカタログ エクスペリエンスとして構成して、Dataplex Catalog から始めることをおすすめします。
このドキュメントは、データ管理者とデータ スチュワードを対象としています。
Dataplex Catalog には、新しいウェブ インターフェースと API があります。Dataplex Catalog に移行すると、既存および将来のワークロードとユーザーは、強化された機能と機能を利用できます。詳細については、Dataplex Catalog の概要をご覧ください。
Dataplex Catalog と Data Catalog の比較については、Dataplex Catalog と Data Catalog の比較をご覧ください。
移行を開始する前に、Dataplex Catalog でサポートされていない機能を確認してください。
移行の概要
Google Cloud コンソールの [Dataplex への移行を管理する] ページには、移行を管理するための単一のアクセス ポイントがあります。
このセクションでは、さまざまな移行シナリオと、各シナリオの移行プロセスの概要について説明します。
Data Catalog にカスタム メタデータがない場合、または Data Catalog を使用したことがない
Data Catalog を使用しているときに、タグ、タグ テンプレート、カスタム エントリ、エントリ グループなどのカスタム メタデータがない場合、または Data Catalog を使用したことがない場合は、デフォルトのカタログ UI エクスペリエンスを Dataplex Catalog に設定して移行を完了します。
Data Catalog のカスタム メタデータまたはプログラム ワークロードがある場合
カスタム メタデータ（タグ、タグ テンプレート、カスタム エントリ、エントリ グループなど）で Data Catalog を使用している場合、Dataplex は、このカスタム メタデータを read-only として Dataplex Catalog に自動的にインポートできます。この機能を有効にするには、準備フェーズで説明されているように構成を変更する必要があります。
2 番目のフェーズは転送フェーズです。このフェーズでは、カスタム メタデータのアクティブな状態（read-write）が Dataplex Catalog に移行されます。このフェーズでは、Dataplex Catalog とやり取りするプログラマティック ワークロード（API、クライアント ライブラリ、Terraform モジュール、Google Cloud CLI コマンドなど）も更新する必要があります。
移行プロセスの各フェーズについて詳しく説明します。
準備フェーズ: Data Catalog コンテンツを Dataplex Catalog で
read-onlyとして同時に使用できるように、必要な構成タスクを実行します。このフェーズでは、Data Catalog はメタデータ コンテンツの信頼できるソースのままです。準備フェーズには、次のタスクが含まれます。
- Data Catalog の非公開タグ テンプレートを公開に更新します。
- タグ テンプレートとタグをオプトインして、Dataplex Catalog でメタデータを同時に利用できるようにします。
- カスタム メタデータの Dataplex Catalog IAM 権限を構成します。
詳細については、準備段階をご覧ください。
転送フェーズ: カタログの使用状況とカスタム メタデータのアクティブな状態（
read-write）を Dataplex Catalog に移動します。移行フェーズには、次のタスクが含まれます。
- デフォルトのカタログ UI を Dataplex Catalog に設定します。
- Data Catalog のカスタム メタデータを Dataplex Catalog に転送します。
- プログラムによるワークロードを更新します。
転送フェーズが完了すると、Dataplex Catalog がすべてのメタデータの信頼できるソースになり、Data Catalog を使用する必要がなくなります。
詳細については、転送フェーズをご覧ください。
必要なロール
Data Catalog から Dataplex Catalog に移行するために必要な権限を取得するには、リソースに次の IAM ロールを付与します。
非公開のタグ テンプレートを公開に更新する: Data Catalog TagTemplate オーナー（
roles/datacatalog.tagTemplateOwner）この事前定義ロールには、非公開タグ テンプレートを公開に更新するために必要な
datacatalog.tagTemplates.update権限が含まれています。Dataplex Catalog でメタデータを同時に利用できるように、公開タグ テンプレートとタグを有効にする: DataCatalog 移行構成管理者（
roles/datacatalog.migrationConfigAdmin）この事前定義ロールには、タグ テンプレートとタグを有効にするために必要な
datacatalog.migrationConfig.set権限が含まれています。デフォルトのカタログ UI を Dataplex Catalog に設定する: DataCatalog 移行構成管理者（
roles/datacatalog.migrationConfigAdmin）この事前定義ロールには、デフォルトのカタログ UI エクスペリエンスを設定するために必要な
datacatalog.migrationConfig.set権限が含まれています。Data Catalog 公開タグ テンプレートを Dataplex Catalog に転送する: Data Catalog TagTemplate オーナー（
roles/datacatalog.tagTemplateOwner）この事前定義ロールには、公開タグ テンプレートの転送に必要な
datacatalog.tagTemplates.update権限が含まれています。Data Catalog エントリ グループを Dataplex カタログに転送する: DataCatalog EntryGroup オーナー（
roles/datacatalog.entryGroupOwner）この事前定義ロールには、エントリ グループの転送に必要な
datacatalog.entryGroups.update権限が含まれています。
ロールの付与については、プロジェクト、フォルダ、組織へのアクセスを管理するをご覧ください。
必要な権限は、カスタムロールや他の事前定義ロールで取得することもできます。
準備フェーズ
このフェーズでは、Data Catalog メタデータ コンテンツを Dataplex Catalog の read-only モードで同時に利用できるようにするタスクが含まれます。
準備段階で留意すべき主な点は次のとおりです。
- Data Catalog は、カスタム メタデータの信頼できるソースであり続けます。
- Dataplex の [検索] ページは、デフォルトで Data Catalog 検索を参照します。この検索には Data Catalog メタデータのみが含まれ、Dataplex Catalog メタデータは含まれません。
- 準備フェーズが完了するまで、Dataplex Catalog 検索に Data Catalog の公開タグ テンプレートとタグがすべて含まれていない可能性があります。
Dataplex Catalog で Data Catalog メタデータを同時に使用できるようにする方法の詳細
Data Catalog のカスタム エントリ グループとそのエントリは、すでに Dataplex Catalog で read-only として同時に使用できます。準備フェーズで公開タグ テンプレートとタグをオプトインすると、そのコンテンツは Dataplex Catalog で read-only として同時に使用できるようになります。
次の表に、Data Catalog リソースが Dataplex Catalog で同時に使用可能になった場合の、Data Catalog リソースと Dataplex Catalog リソースのマッピングを示します。
| Data Catalog リソース | 対応する Dataplex Catalog リソース | 説明 |
|---|---|---|
| タグ テンプレート | アスペクト タイプ（全世界） | Data Catalog のタグ テンプレートはリージョン リソースです。タグ テンプレートを有効にすると、そのコンテンツは Dataplex Catalog でグローバル アスペクト タイプとして同時に使用できるようになります。これは、タグとタグ テンプレート間のリージョン間参照を保持するためです。グローバル アスペクト タイプの定義は、すべての Google Cloud リージョンに複製されます。
|
| タグ | オプションのアスペクト | タグ テンプレートを有効にすると、そのタグは Dataplex Catalog でオプションのアスペクトとして同時に使用できるようになります。詳細については、アスペクトのカテゴリをご覧ください。 |
| エントリ グループ | エントリ グループ | システム エントリのエントリ グループは、Dataplex Catalog でプロジェクトごとにリージョンごとに設定されます。Data Catalog で作成されたエントリ グループは、Dataplex Catalog で同時に使用できます。 |
| カスタム エントリ | カスタム エントリ | Data Catalog のすべてのカスタム エントリは、Dataplex Catalog で GenericEntryType のエントリとして同時に使用できるようになります。詳細については、エントリタイプのカテゴリをご覧ください。 |
| システムへのエントリ（Google Cloud） | システム エントリの必須アスペクト | BigQuery テーブルの Schema など、システム エントリを記述するメタデータは、システム定義のアスペクト タイプの必須アスペクトでキャプチャされます。 |
Data Catalog の非公開タグ テンプレートを一般公開に更新する
Dataplex Catalog は、非公開アスペクト（非公開タグに対応）のコンセプトをサポートしていません。そのため、限定公開のタグ テンプレートとタグは、Dataplex Catalog で同時に利用できません。Dataplex Catalog で非公開のタグ テンプレートとタグを伝播するには、それらを公開として更新する必要があります。
続行する前に、非公開のタグ テンプレートの構造を確認し、その構造とメタデータが公開タグの公開設定と一致していることを確認します。
非公開のタグ テンプレートとタグを公開に更新する手順は次のとおりです。
Console
Google Cloud コンソールで、Dataplex の [カタログ] ページに移動します。
[Dataplex への移行の管理] をクリックします。
[プライベート タグ テンプレート] タブをクリックします。
[タグ テンプレートを管理] をクリックします。
[タグ テンプレート] ページで、更新する限定公開タグ テンプレートをクリックします。
[テンプレートの詳細] ページで、[編集] をクリックします。
[公開設定] セクションで、[公開] を選択します。
[更新] をクリックします。
REST
限定公開タグ テンプレートを公開に更新するには、tagTemplates.patch メソッドを使用します。
公開タグ テンプレートとタグにオプトインして、Dataplex Catalog でメタデータを同時に利用できるようにする
オプトインすると、Data Catalog の公開タグ テンプレートとタグのコンテンツは、Google Cloud 組織またはプロジェクト（組織なし）全体で Dataplex Catalog に自動的かつ継続的に伝播されます。Data Catalog の公開タグ テンプレートとタグは、それぞれ公開アスペクト タイプとアスペクトとして Dataplex Catalog に伝播されます。グローバル アスペクト タイプの定義は、すべての Google Cloud リージョンに複製されます。
公開タグ テンプレートとタグにオプトインする手順は次のとおりです。
Console
Google Cloud コンソールで、Dataplex の [カタログ] ページに移動します。
[Dataplex への移行の管理] をクリックします。
[オプトイン] タブをクリックします。
[オプトインする] をクリックします。
確認ダイアログで表示されたテキストを入力し、[確認] をクリックします。
REST
タグ テンプレートとタグを有効にするには、setConfig メソッドを使用します。
Google Cloud 組織と組織のないプロジェクトの両方で、[オプトインを取り消す] をクリックして、最初に提供されたオプトインを取り消すことができます。オプトインを取り消すと、Data Catalog のタグ テンプレートとタグを Dataplex Catalog に伝播するプロセスが停止します。オプトイン プロセスで作成されたが Dataplex Catalog に転送されていない Dataplex Catalog のアスペクト タイプとアスペクトは削除されます。削除プロセスには最長で 12 時間ほどかかることがあります。
カスタム メタデータの Dataplex Catalog IAM 権限を構成する
Data Catalog のタグ テンプレートとエントリ グループを表す Dataplex Catalog のアスペクト タイプとカスタム エントリ グループは、元の Data Catalog IAM 権限を継承しません。これらのアスペクト タイプとカスタム エントリ グループの Dataplex IAM 権限を手動で構成する必要があります。
たとえば、伝播されたアスペクト タイプ（Data Catalog タグ テンプレートを表す）を使用してアスペクトを作成する場合は、そのアスペクト タイプに必要な IAM 権限を構成する必要があります。同様に、カスタム メタデータを取り込むときに、伝播されたカスタム エントリ グループ内にカスタム エントリを作成するには、そのエントリ グループに必要な IAM 権限を構成する必要があります。
アスペクト タイプとカスタム エントリ グループに必要な Dataplex IAM 権限を構成する手順は次のとおりです。
Console
Google Cloud コンソールで、Dataplex の [カタログ] ページに移動します。
[Dataplex への移行の管理] をクリックします。
[Dataplex 権限] タブをクリックします。
アスペクト タイプの Dataplex IAM 権限を構成するには、[アスペクト タイプとタグ テンプレート] をクリックします。
Data Catalog から伝播されたタグ テンプレートで、 > [権限] をクリックします。
[プリンシパルを追加] をクリックします。
新しいプリンシパルを追加し、必要なロールを割り当てます。
[保存] をクリックします。
エントリ グループの Dataplex IAM 権限を構成するには、[エントリ グループ] をクリックします。
Data Catalog から伝播されたエントリ グループで、 > [権限] をクリックします。
[プリンシパルを追加] をクリックします。
新しいプリンシパルを追加し、必要なロールを割り当てます。
[保存] をクリックします。
REST
アスペクト タイプの Dataplex IAM 権限を構成するには、aspectTypes.setIamPolicy メソッドを使用します。
エントリ グループの Dataplex IAM 権限を構成するには、entryGroups.setIamPolicy メソッドを使用します。
移行フェーズ
このフェーズでは、Data Catalog カスタム メタデータのアクティブな状態（read-write）を Dataplex Catalog に移動するタスクが含まれます。
移行フェーズで留意すべき主な点は次のとおりです。
- Dataplex の [検索] ページは、デフォルトで Dataplex Catalog 検索を参照します。
- Dataplex Catalog では、Data Catalog メタデータと Dataplex Catalog メタデータの両方を検出して読み取ることができます。
- Google Cloud コンソールでメタデータを更新するには、ソースにリダイレクトされます。たとえば、Data Catalog タグ テンプレートを更新すると、Data Catalog のタグ テンプレート ページにリダイレクトされます。
デフォルトのカタログ UI を Dataplex Catalog に設定する
デフォルトのカタログ UI エクスペリエンスを Dataplex Catalog に設定すると、次のようになります。
Google Cloud コンソールの Dataplex の [検索] ページに移動すると、デフォルトで Dataplex Catalog 検索が表示されます。Dataplex Catalog 検索は Dataplex Catalog で実行され、Dataplex Catalog で作成されたコンテンツや Data Catalog から取り込まれたコンテンツなど、すべてのメタデータ コンテンツを検索します。
Data Catalog 検索では、Dataplex Catalog のコンテンツではなく、Data Catalog のコンテンツのみが検索されます。そのため、Dataplex Catalog 検索を使用することをおすすめします。
ウェブ インターフェースでは、Dataplex Catalog で新しいリソースを作成することをおすすめします。たとえば、デフォルトでは [タグ テンプレートを作成] ではなく [アスペクト タイプを作成する]、[エントリ グループ（Data Catalog）を作成する] ではなく [エントリ グループ（Dataplex Catalog）を作成する] になります。
デフォルトのカタログ UI を Dataplex Catalog に設定することは、通常は一方通行のオペレーションです。ただし、Dataplex では、デフォルトのカタログ UI エクスペリエンスを Data Catalog に戻す場合など、例外的な場合に変更を元に戻すことができます。変更を元に戻すと、Dataplex Catalog で作成されたコンテンツに Data Catalog ウェブ インターフェースからアクセスできなくなります。
デフォルトのカタログ UI を Dataplex Catalog に設定する手順は次のとおりです。
Console
Google Cloud コンソールで、Dataplex の [カタログ] ページに移動します。
[Dataplex への移行の管理] をクリックします。
[Dataplex Search] タブをクリックします。
[デフォルトのカタログ UI を Dataplex Catalog に設定する] をクリックします。
REST
デフォルトのカタログ UI を Dataplex Catalog に設定するには、setConfig メソッドを使用します。
Data Catalog のカスタム メタデータを Dataplex Catalog に転送する
Data Catalog の公開タグ テンプレート（オプトイン済み）とカスタム エントリ グループを Dataplex Catalog に転送できます。各タグ テンプレートとカスタム エントリ グループを個別に移行してください。
転送プロセスの概要は次のとおりです。
効果
- リソースのアクティブな状態を Data Catalog から Dataplex Catalog に転送します。移行後、リソースを変更したり、現在の状態にアクセスしたりするには、Dataplex Catalog を使用する必要があります。
データの内容とフローへの変更
- Data Catalog でリソースを
read-onlyとしてマークします。 - Dataplex Catalog でリソースが
read-writeとしてマークされます。 - このリソースの同時利用を停止します。
- Data Catalog でリソースを
依存関係
- タグ テンプレートを移行すると、そのテンプレートを使用するすべてのタグも移行されます。
- エントリ グループを移行すると、そのグループ内のすべてのエントリも移行されます。
- エントリを移行しても、タグやそれぞれのタグ テンプレートの移行ステータスには影響しません。
転送前にエントリのビジネス コンテキスト（overview、contacts など）を変更するには、Data Catalog API と Dataplex API の両方を使用できます。転送後は、Dataplex API のみを使用する必要があります。
以下では、関連するカスタム エントリ グループとタグ テンプレートの転送ステータスに基づいて、タグ付けされたカスタム Data Catalog エントリに対して許可されるオペレーションについて説明します。
- Data Catalog でタグ テンプレートがアクティブになっている場合は、そのタグ テンプレートを使用してタグを作成できます。タグ テンプレートを Dataplex Catalog に転送した後、そのテンプレートを使用して Data Catalog でタグを作成することはできません。
- Data Catalog タグ テンプレートから伝播されるアスペクト タイプを使用してアスペクトを作成できるのは、タグ テンプレートを転送した後のみです。
Data Catalog のタグ テンプレートとカスタム エントリ グループを Dataplex Catalog に転送する手順は次のとおりです。
Console
Google Cloud コンソールで、Dataplex の [カタログ] ページに移動します。
[Dataplex への移行の管理] をクリックします。
[Dataplex に転送] タブをクリックします。
Data Catalog タグ テンプレートを Dataplex Catalog に転送するには、[アスペクト タイプとタグ テンプレートを表示] をクリックします。
移行するタグ テンプレートを選択します。
[Transfer] をクリックします。
確認のダイアログで [確認] をクリックします。
Data Catalog のカスタム エントリ グループを Dataplex Catalog に転送するには、[エントリ グループを表示] をクリックします。
移行するエントリ グループを選択します。
[Transfer] をクリックします。
確認のダイアログで [確認] をクリックします。
REST
Data Catalog のタグ テンプレートとカスタム エントリ グループを Dataplex Catalog に転送するには、tagTemplates.patch メソッドを使用します。
転送フェーズが完了すると、Dataplex Catalog がすべてのメタデータの信頼できるソースになり、Data Catalog を使用する必要がなくなります。
プログラムによるワークロードを更新する
Dataplex Catalog には、新しい API、クライアント ライブラリ、Terraform モジュール、Google Cloud CLI コマンドが付属しています。したがって、Data Catalog をプログラマティックに使用している既存のワークロードを Dataplex Catalog に更新する必要があります。Dataplex のコードサンプルを確認する。
プログラマティック ワークロードの更新を、タグ テンプレートやカスタム エントリ グループなどの依存リソースの転送と調整してください。これは、転送によってリソースのアクティブな状態（read-write）が Data Catalog から Dataplex Catalog に移動されるため必要です。
次に、依存リソースの転送と調整して、Dataplex Catalog とやり取りするようにプログラム ワークロードを更新するシーケンスの例を示します。
ワークロードが結果整合性を許容できる場合は、ワークロードの
readオペレーションを Dataplex Catalog に移動します。タグ付け
writeオペレーションを実行するワークロードを、対応するタグ テンプレートの転送に合わせて Dataplex Catalog に移動します。カスタム取り込み
writeオペレーションを実行するワークロードを、それぞれのカスタム エントリ グループの転送に合わせて Dataplex Catalog に移動します。
更新ワークロードと対応するリソースの転送を分離する必要がある場合は、リソース転送ステータスに基づいて read-write を Data Catalog または Dataplex Catalog に転送するロジックをワークロード内に実装することを検討してください。したがって、ワークロードは関連リソースの転送ステータスとは独立して動作します。
次のステップ
- Dataplex Catalog の詳細を確認する。
- Dataplex Catalog でリソースを検索する方法を確認する。
- Dataplex Catalog でアスペクトを管理してメタデータを拡充する方法を確認する。
- Dataplex Catalog でエントリを管理してカスタムソースを取り込む方法を確認する。
- Dataplex Catalog API リファレンスをご覧ください。