データリネージの留意点

データリネージは、プロジェクトごとに有効になります。つまり、Data Lineage API を有効にすると、プロダクト レベルのリネージ制御に応じて複数のシステムのリネージ情報が自動的にレポートされます。

自動リネージ トラッキングは、次のシステムでサポートされています。

Google Cloud でサポートされているシステムのプロダクト レベルのリネージ制御
システム 利用可能なリネージ制御
BigQuery、
Cloud Data Fusion
プロジェクトで Data Lineage API が有効になっている場合、リネージ トラッキングを Cloud Data Fusion または BigQuery のみに制限する構成はありません。
Cloud Composer Cloud Composer は、環境レベルのデータリネージ統合制御を使用します。データリネージは、要件を満たしていれば、すべての新しい Cloud Composer 環境で自動的に有効になります。詳細については、 Dataplex を使用したデータリネージをご覧ください。既存の環境では、環境設定でデータリネージ統合を有効または無効にできます。
Dataproc Dataproc Spark ジョブはリネージ イベントをキャプチャして、Data Lineage API にパブリッシュできます。詳細については、データリネージ Dataproc の統合をご覧ください。
Vertex AI データリネージは、モデル、データセット、パイプライン テンプレート、コンポーネントなどの Vertex AI アーティファクトとパラメータに対して自動的に有効になります。パイプラインのリネージには、パイプラインの作成につながった要素だけでなく、その後派生したアーティファクトやメタデータも含まれます。詳細については、パイプライン アーティファクトのリネージを追跡するをご覧ください。

請求への影響

プロジェクトで Data Lineage API を有効にする場合、プロジェクトごとに Data Lineage API が有効になっているため、請求料金への影響を確認してください(詳細については、前のセクションを参照してください)。

欧州連合(eu)、アジア(asia)、米国(us)などのマルチリージョンの場合および BigQuery Omni の場合、リネージ処理は特定のリージョンに分散され、費用は処理が行われるリージョンによって異なります(Data Catalog の料金設定例をご覧ください)。

データリネージのコンプライアンス

  • データリネージは、データの移動に関するメタデータを記録しますが、データ自体はキャプチャしません。メタデータに含まれるフィールドの詳細については、データリネージ情報モデルデータリネージ API リファレンスをご覧ください。
  • Dataplex の一部としてのデータリネージは、VPC-SC に対応しています。
  • 現在、Dataplex には、顧客管理の暗号鍵を使用して収集済みのリネージ メタデータを保護する機能はありません。

データリネージの制限

リネージグラフでノードを選択すると、次の場合にノードの詳細サイドパネルは空になります。

  1. リソースが別の組織に配置されているか、
  2. ユーザーが、リソースをホストする組織のメンバーではない。