データリネージは、プロジェクトごとに有効になります。つまり、Data Lineage API を有効にすると、プロダクト レベルのリネージ制御に応じて複数のシステムのリネージ情報が自動的にレポートされます。
自動リネージ トラッキングは、次のシステムでサポートされています。
システム | 利用可能なリネージ制御 |
---|---|
BigQuery、 Cloud Data Fusion |
プロジェクトで Data Lineage API が有効になっている場合、リネージ トラッキングを Cloud Data Fusion または BigQuery のみに制限する構成はありません。 |
Cloud Composer | Cloud Composer は、環境レベルのデータリネージ統合制御を使用します。データリネージは、要件を満たしていれば、すべての新しい Cloud Composer 環境で自動的に有効になります。詳細については、 Dataplex を使用したデータリネージをご覧ください。既存の環境では、環境設定でデータリネージ統合を有効または無効にできます。 |
Dataproc | Dataproc Spark ジョブはリネージ イベントをキャプチャして、Data Lineage API にパブリッシュできます。詳細については、データリネージ Dataproc の統合をご覧ください。 |
Vertex AI | データリネージは、モデル、データセット、パイプライン テンプレート、コンポーネントなどの Vertex AI アーティファクトとパラメータに対して自動的に有効になります。パイプラインのリネージには、パイプラインの作成につながった要素だけでなく、その後派生したアーティファクトやメタデータも含まれます。詳細については、パイプライン アーティファクトのリネージを追跡するをご覧ください。 |
請求への影響
プロジェクトで Data Lineage API を有効にする場合、プロジェクトごとに Data Lineage API が有効になっているため、請求料金への影響を確認してください(詳細については、前のセクションを参照してください)。
欧州連合(eu)、アジア(asia)、米国(us)などのマルチリージョンの場合および BigQuery Omni の場合、リネージ処理は特定のリージョンに分散され、費用は処理が行われるリージョンによって異なります(Data Catalog の料金設定例をご覧ください)。
データリネージのコンプライアンス
- データリネージは、データの移動に関するメタデータを記録しますが、データ自体はキャプチャしません。メタデータに含まれるフィールドの詳細については、データリネージ情報モデルとデータリネージ API リファレンスをご覧ください。
- Dataplex の一部としてのデータリネージは、VPC-SC に対応しています。
- 現在、Dataplex には、顧客管理の暗号鍵を使用して収集済みのリネージ メタデータを保護する機能はありません。
データリネージの制限
リネージグラフでノードを選択すると、次の場合にノードの詳細サイドパネルは空になります。
- リソースが別の組織に配置されているか、
- ユーザーが、リソースをホストする組織のメンバーではない。