Nomes totalmente qualificados

Os nomes totalmente qualificados são identificadores de recursos sensíveis a maiúsculas e minúsculas exclusivos a nível global que pode usar com o catálogo universal do Dataplex para fazer referência a recursos Google Cloud e nãoGoogle Cloud .

Por exemplo, os nomes totalmente qualificados são usados para sistemas que suportam a incorporação automática de metadados de Google Cloud. Se catalogar os seus recursos não pertencentes ao Google Cloud no catálogo universal do Dataplex, pode fornecer nomes totalmente qualificados quando criar as entradas personalizadas que representam esses recursos de terceiros.Google Cloud

Os nomes totalmente qualificados são compostos por um prefixo seguido de segmentos delimitados por pontos. O comprimento máximo é de 4000 carateres. Coloque entre acentos graves os segmentos que contêm carateres reservados, como dois pontos, pontos e espaços em branco. Use duas aspas invertidas para especificar uma aspa invertida num segmento.

Formatos predefinidos para Google Cloud recursos

As tabelas seguintes indicam os formatos predefinidos para nomes totalmente qualificados que são suportados para Google Cloud recursos.

BigQuery

Recurso Formato
Conjunto de dados bigquery:{projectId}.{datasetId}
Tabela bigquery:{projectId}.{datasetId}.{tableId}
Ver bigquery:{projectId}.{datasetId}.{viewId}
Modelo bigquery:{projectId}.{datasetId}.{modelId}
Tabela fragmentada bigquery:sharded:{projectId}.{datasetId}.{tablePrefix}
Rotina bigquery:routine:{projectId}.{datasetId}.{routineId}
Connection bigquery:connection:{projectId}.{location}.{connectionId}

Partilha do BigQuery (anteriormente Analytics Hub)

Recurso Formato
Exchange analytics_hub:{projectId}.{location}.{exchangeId}
Ficha analytics_hub:{projectId}.{location}.{exchangeId}.{listingId}

Bigtable

Recurso Formato
Instância bigtable:{projectId}.{instanceId}
Tabela bigtable:{projectId}.{instanceId}.{tableId}

Cloud SQL para MySQL

Recurso Formato
Instância cloudsql_mysql:{projectId}.{location}.{instanceId}
Esquema cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}
Tabela cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}.{tableId}

Cloud SQL para PostgreSQL

Recurso Formato
Instância cloudsql_postgresql:{projectId}.{location}.{instanceId}
Bases de dados cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}
Esquema cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}
Tabela cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}.{tableId}

Cloud Storage

Recurso Formato
Grupo gcs:{bucketName}
Caminho gcs:{bucketName}.{virtualPath}

Dataplex Universal Catalog

Recurso Formato
Lago dataplex:{projectId}.{location}.{lakeId}
Zona dataplex:{projectId}.{location}.{lakeId}.{zoneId}
Tabela dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{tableId}
Fileset dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{filesetId}

Dataproc Metastore

Recurso Formato
Serviço dataproc_metastore:{projectId}.{location}.{instanceId}
Bases de dados dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}
Tabela dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}.{tableId}

Looker

Recurso Formato
Instância looker:{instanceId}
Painel de controlo looker:dashboard:{instanceId}.{folderId}.{dashboardId}
Explore looker:explore:{instanceId}.{folderId}.{exploreId}
Look looker:look:{instanceId}.{folderId}.{lookId}

Pub/Sub

Recurso Formato
Tópico pubsub:topic:{projectId}.{topicId}
Subscrição pubsub:subscription:{projectId}.{subscriptionId}

Spanner

Recurso Formato
Instância spanner:{projectId}.{instanceConfigId}.{instanceId}
Bases de dados spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}
Tabela spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{tableId}
Ver spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{viewId}

Vertex AI

Recurso Formato
Modelo vertex_ai:model:{projectId}.{locationId}.{modelId}.{version}
Conjunto de dados vertex_ai:dataset:{projectId}.{locationId}.{datasetId}
FeatureGroup vertex_ai:featuregroup:{projectId}.{locationId}.{featureGroupId}
FeatureOnlineStore vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}
FeatureView vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}.{FeatureViewId}

Formatos predefinidos para recursos nãoGoogle Cloud

As tabelas seguintes indicam os formatos predefinidos para nomes totalmente qualificados que são suportados para recursos de terceiros.

Apache Cassandra

Recurso Formato
Cluster cassandra:{dns}
Keyspace cassandra:{dns}.{keyspaceId}
Tabela cassandra:{dns}.{keyspaceId}.{tableId}

Apache Hive

Recurso Formato
Instância hive_metastore:{dns}
Bases de dados hive_metastore:{dns}.{database}
Tabela hive_metastore:{dns}.{database}.{table}

Apache Kafka

Recurso Formato
Cluster kafka:{dns}
Tópico kafka:{dns}.{topicId}

AWS Athena

Recurso Formato
Catálogo athena:{catalogId}.{region}
Bases de dados athena:{catalogId}.{region}.{databaseId}
Tabela athena:{catalogId}.{region}.{databaseId}.{tableId}

AWS Redshift

Recurso Formato
Instância redshift:{clusterId}.{region}.{port}
Bases de dados redshift:{clusterId}.{region}.{port}.{databaseId}
Esquema redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}
Tabela redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}.{tableId}

AWS S3

Recurso Formato
Grupo s3:{bucket}
Caminho s3:{bucket}.{virtualPath}

AWS Glue

Recurso Formato
Tabela aws_glue:table:{region}.{accountId}.{dbName}.{tableName}

Armazenamento de blobs do Azure

Recurso Formato
Conta abs:{account}
Contentor abs:{account}.{container}
Caminho abs:{account}.{container}.{virtualPath}

Azure Cosmos DB

Recurso Formato
Conta cosmos-db:{accountName}
Bases de dados cosmos-db:{accountName}.{databaseId}
Contentor cosmos-db:{accountName}.{databaseId}.{containerId}

Azure Data Explorer

Recurso Formato
Cluster kusto:{clusterName}.{region}
Bases de dados kusto:{clusterName}.{region}.{databaseId}
Tabela kusto:{clusterName}.{region}.{databaseId}.{tableId}

Databricks

Recurso Formato
Metastore databricks:{metastoreId}
Catálogo databricks:{metastoreId}.{catalogId}
Esquema databricks:{metastoreId}.{catalogId}.{schemaId}
Tabela databricks:table:{metastoreId}.{catalogId}.{schemaId}.{tableId}
Ver databricks:view:{metastoreId}.{catalogId}.{schemaId}.{viewId}
Rotina databricks:routine:{metastoreId}.{catalogId}.{schemaId}.{routineId}
Volume databricks:volume:{metastoreId}.{catalogId}.{schemaId}.{volumeId}
Modelo databricks:model:{metastoreId}.{catalogId}.{schemaId}.{modelId}

Databricks File System

Recurso Formato
Instância dbfs:{workspace}
Caminho dbfs:{workspace}.{path}

Sistema de ficheiros genérico

Recurso Formato
Instância filesystem:{dns}
Caminho filesystem:{dns}.{path}

Hadoop Distributed File System

Recurso Formato
Instância hdfs:{dns}
Caminho hdfs:{dns}.{path}

IBM DB2

Recurso Formato
Instância db2:{dns}
Bases de dados db2:{dns}.{databaseId}
Esquema db2:{dns}.{databaseId}.{schemaId}
Tabela db2:{dns}.{databaseId}.{schemaId}.{tableId}

IBM Informix

Recurso Formato
Instância informix:{dns}
Bases de dados informix:{dns}.{databaseId}
Esquema informix:{dns}.{databaseId}.{schemaId}
Tabela informix:{dns}.{databaseId}.{schemaId}.{tableId}

Microsoft SQL Server

Recurso Formato
Instância sqlserver:{dns}
Bases de dados sqlserver:{dns}.{databaseId}
Esquema sqlserver:{dns}.{databaseId}.{schemaId}
Tabela sqlserver:{dns}.{databaseId}.{schemaId}.{tableId}

MySQL

Recurso Formato
Instância mysql:{dns}
Esquema mysql:{dns}.{schemaId}
Tabela mysql:{dns}.{schemaId}.{tableId}

Oracle Database

Recurso Formato
Instância oracle:{dns}
Bases de dados oracle:{dns}.{databaseId}
Esquema oracle:{dns}.{databaseId}.{schemaId}
Tabela oracle:{dns}.{databaseId}.{schemaId}.{tableId}

PostgreSQL

Recurso Formato
Instância postgresql:{dns}
Bases de dados postgresql:{dns}.{databaseId}
Esquema postgresql:{dns}.{databaseId}.{schemaId}
Tabela postgresql:{dns}.{databaseId}.{schemaId}.{tableId}

Salesforce

Recurso Formato
SObject salesforce:{environment}.{orgId}.{sobject}

Floco de neve

Recurso Formato
Conta snowflake:{accountName}
Bases de dados snowflake:{accountName}.{databaseId}
Esquema snowflake:{accountName}.{databaseId}.{schemaId}
Tabela snowflake:{accountName}.{databaseId}.{schemaId}.{tableId}

Tableau

Recurso Formato
Servidor tableau:{dns}
Site tableau:{dns}.{site}
Projeto tableau:project:{dns}.{site}.{projectId}
Origem de dados tableau:datasource:{dns}.{site}.{projectId}.{datasourceId}
Livro tableau:workbook:{dns}.{site}.{projectId}.{workbookId}
Página tableau:sheet:{dns}.{site}.{projectId}.{workbookId}.{sheetId}
Painel de controlo tableau:dashboard:{dns}.{site}.{projectId}.{workbookId}.{dashboardId}

Trino

Recurso Formato
Instância trino:{dns}
Catálogo trino:{dns}.{catalogId}
Esquema trino:{dns}.{catalogId}.{schemaId}
Tabela trino:{dns}.{catalogId}.{schemaId}.{tableId}

Formatos personalizados

Pode criar um formato de nome totalmente qualificado personalizado usando o custom:prefixo. Os formatos personalizados não são validados e podem não ser compatíveis com as funcionalidades do catálogo universal do Dataplex. Para facilitar a migração futura, crie formatos personalizados semelhantes aos formatos predefinidos.

Os recursos referenciados em mensagens OpenLineage com o espaço de nomes custom são interpretados como nomes totalmente qualificados personalizados.