Nomes totalmente qualificados

Os nomes totalmente qualificados são identificadores de recursos globalmente exclusivos que diferenciam maiúsculas de minúsculas e podem ser usados com o Catálogo Universal do Dataplex para se referir a recursos do Google Cloud e de terceiros.Google Cloud

Por exemplo, nomes totalmente qualificados são usados para sistemas que oferecem suporte à ingestão automática de metadados do Google Cloud. Se você catalogar seus recursos nãoGoogle Cloud no Dataplex Universal Catalog, poderá fornecer nomes totalmente qualificados ao criar as entradas personalizadas que representam esses recursos de terceiros.

Os nomes totalmente qualificados são compostos de um prefixo seguido por segmentos delimitados com pontos. O tamanho máximo é de 4.000 caracteres. Coloque crases em segmentos que contenham caracteres reservados, como dois-pontos, pontos e espaços em branco. Use crases duplas para especificar uma crase em um segmento.

Formatos predefinidos para recursos Google Cloud

As tabelas a seguir listam os formatos predefinidos para nomes totalmente qualificados que são compatíveis com recursos Google Cloud .

BigQuery

Recurso Formato
Conjunto de dados bigquery:{projectId}.{datasetId}
Tabela bigquery:{projectId}.{datasetId}.{tableId}
Ver bigquery:{projectId}.{datasetId}.{viewId}
Modelo bigquery:{projectId}.{datasetId}.{modelId}
Tabela fragmentada bigquery:sharded:{projectId}.{datasetId}.{tablePrefix}
Rotina bigquery:routine:{projectId}.{datasetId}.{routineId}
Conexão bigquery:connection:{projectId}.{location}.{connectionId}

Compartilhamento do BigQuery (antigo Analytics Hub)

Recurso Formato
Troca analytics_hub:{projectId}.{location}.{exchangeId}
Listagem analytics_hub:{projectId}.{location}.{exchangeId}.{listingId}

Bigtable

Recurso Formato
Instância bigtable:{projectId}.{instanceId}
Tabela bigtable:{projectId}.{instanceId}.{tableId}

Cloud SQL para MySQL

Recurso Formato
Instância cloudsql_mysql:{projectId}.{location}.{instanceId}
Esquema cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}
Tabela cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}.{tableId}

Cloud SQL para PostgreSQL

Recurso Formato
Instância cloudsql_postgresql:{projectId}.{location}.{instanceId}
Banco de dados cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}
Schema cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}
Tabela cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}.{tableId}

Cloud Storage

Recurso Formato
Bucket gcs:{bucketName}
Caminho gcs:{bucketName}.{virtualPath}

Dataplex Universal Catalog

Recurso Formato
Lake dataplex:{projectId}.{location}.{lakeId}
Zona dataplex:{projectId}.{location}.{lakeId}.{zoneId}
Tabela dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{tableId}
Conjunto de arquivos dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{filesetId}

Dataproc Metastore

Recurso Formato
Serviço dataproc_metastore:{projectId}.{location}.{instanceId}
Banco de dados dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}
Tabela dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}.{tableId}

Looker

Recurso Formato
Instância looker:{instanceId}
Painel looker:dashboard:{instanceId}.{folderId}.{dashboardId}
Explorar looker:explore:{instanceId}.{folderId}.{exploreId}
Look looker:look:{instanceId}.{folderId}.{lookId}

Pub/Sub

Recurso Formato
Tópico pubsub:topic:{projectId}.{topicId}
Assinatura pubsub:subscription:{projectId}.{subscriptionId}

Spanner

Recurso Formato
Instância spanner:{projectId}.{instanceConfigId}.{instanceId}
Banco de dados spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}
Tabela spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{tableId}
Ver spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{viewId}

Vertex AI

Recurso Formato
Modelo vertex_ai:model:{projectId}.{locationId}.{modelId}.{version}
Conjunto de dados vertex_ai:dataset:{projectId}.{locationId}.{datasetId}
FeatureGroup vertex_ai:featuregroup:{projectId}.{locationId}.{featureGroupId}
FeatureOnlineStore vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}
FeatureView vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}.{FeatureViewId}

Formatos predefinidos para recursos que não são doGoogle Cloud

As tabelas a seguir listam os formatos predefinidos para nomes totalmente qualificados que são compatíveis com recursos de terceiros.

Apache Cassandra

Recurso Formato
Cluster cassandra:{dns}
Keyspace cassandra:{dns}.{keyspaceId}
Tabela cassandra:{dns}.{keyspaceId}.{tableId}

Apache Hive

Recurso Formato
Instância hive_metastore:{dns}
Banco de dados hive_metastore:{dns}.{database}
Tabela hive_metastore:{dns}.{database}.{table}

Apache Kafka

Recurso Formato
Cluster kafka:{dns}
Tópico kafka:{dns}.{topicId}

AWS Athena

Recurso Formato
Catálogo athena:{catalogId}.{region}
Banco de dados athena:{catalogId}.{region}.{databaseId}
Tabela athena:{catalogId}.{region}.{databaseId}.{tableId}

AWS Redshift

Recurso Formato
Instância redshift:{clusterId}.{region}.{port}
Banco de dados redshift:{clusterId}.{region}.{port}.{databaseId}
Schema redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}
Tabela redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}.{tableId}

AWS S3

Recurso Formato
Bucket s3:{bucket}
Caminho s3:{bucket}.{virtualPath}

AWS Glue

Recurso Formato
Tabela aws_glue:table:{region}.{accountId}.{dbName}.{tableName}

Armazenamento de blobs do Azure

Recurso Formato
Conta abs:{account}
Contêiner abs:{account}.{container}
Caminho abs:{account}.{container}.{virtualPath}

Azure Cosmos DB

Recurso Formato
Conta cosmos-db:{accountName}
Banco de dados cosmos-db:{accountName}.{databaseId}
Contêiner cosmos-db:{accountName}.{databaseId}.{containerId}

Azure Data Explorer

Recurso Formato
Cluster kusto:{clusterName}.{region}
Banco de dados kusto:{clusterName}.{region}.{databaseId}
Tabela kusto:{clusterName}.{region}.{databaseId}.{tableId}

Databricks

Recurso Formato
Metastore databricks:{metastoreId}
Catálogo databricks:{metastoreId}.{catalogId}
Esquema databricks:{metastoreId}.{catalogId}.{schemaId}
Tabela databricks:table:{metastoreId}.{catalogId}.{schemaId}.{tableId}
Ver databricks:view:{metastoreId}.{catalogId}.{schemaId}.{viewId}
Rotina databricks:routine:{metastoreId}.{catalogId}.{schemaId}.{routineId}
Volume databricks:volume:{metastoreId}.{catalogId}.{schemaId}.{volumeId}
Modelo databricks:model:{metastoreId}.{catalogId}.{schemaId}.{modelId}

Sistema de arquivos do Databricks

Recurso Formato
Instância dbfs:{workspace}
Caminho dbfs:{workspace}.{path}

Sistema de arquivos genérico

Recurso Formato
Instância filesystem:{dns}
Caminho filesystem:{dns}.{path}

Sistema de arquivos distribuídos do Hadoop

Recurso Formato
Instância hdfs:{dns}
Caminho hdfs:{dns}.{path}

IBM DB2

Recurso Formato
Instância db2:{dns}
Banco de dados db2:{dns}.{databaseId}
Schema db2:{dns}.{databaseId}.{schemaId}
Tabela db2:{dns}.{databaseId}.{schemaId}.{tableId}

IBM Informix

Recurso Formato
Instância informix:{dns}
Banco de dados informix:{dns}.{databaseId}
Schema informix:{dns}.{databaseId}.{schemaId}
Tabela informix:{dns}.{databaseId}.{schemaId}.{tableId}

Microsoft SQL Server

Recurso Formato
Instância sqlserver:{dns}
Banco de dados sqlserver:{dns}.{databaseId}
Schema sqlserver:{dns}.{databaseId}.{schemaId}
Tabela sqlserver:{dns}.{databaseId}.{schemaId}.{tableId}

MySQL

Recurso Formato
Instância mysql:{dns}
Esquema mysql:{dns}.{schemaId}
Tabela mysql:{dns}.{schemaId}.{tableId}

Oracle Database

Recurso Formato
Instância oracle:{dns}
Banco de dados oracle:{dns}.{databaseId}
Schema oracle:{dns}.{databaseId}.{schemaId}
Tabela oracle:{dns}.{databaseId}.{schemaId}.{tableId}

PostgreSQL

Recurso Formato
Instância postgresql:{dns}
Banco de dados postgresql:{dns}.{databaseId}
Schema postgresql:{dns}.{databaseId}.{schemaId}
Tabela postgresql:{dns}.{databaseId}.{schemaId}.{tableId}

Salesforce

Recurso Formato
SObject salesforce:{environment}.{orgId}.{sobject}

Snowflake

Recurso Formato
Conta snowflake:{accountName}
Banco de dados snowflake:{accountName}.{databaseId}
Schema snowflake:{accountName}.{databaseId}.{schemaId}
Tabela snowflake:{accountName}.{databaseId}.{schemaId}.{tableId}

Tableau

Recurso Formato
Servidor tableau:{dns}
Site tableau:{dns}.{site}
Projeto tableau:project:{dns}.{site}.{projectId}
Fonte de dados tableau:datasource:{dns}.{site}.{projectId}.{datasourceId}
Apostila tableau:workbook:{dns}.{site}.{projectId}.{workbookId}
Página tableau:sheet:{dns}.{site}.{projectId}.{workbookId}.{sheetId}
Painel tableau:dashboard:{dns}.{site}.{projectId}.{workbookId}.{dashboardId}

Trino

Recurso Formato
Instância trino:{dns}
Catálogo trino:{dns}.{catalogId}
Esquema trino:{dns}.{catalogId}.{schemaId}
Tabela trino:{dns}.{catalogId}.{schemaId}.{tableId}

Formatos personalizados

É possível criar um formato de nome totalmente qualificado personalizado usando o prefixo custom:. Os formatos personalizados não são validados e podem não ser compatíveis com os recursos do Dataplex Universal Catalog. Para facilitar a migração futura, crie formatos personalizados semelhantes aos predefinidos.

Os recursos referenciados em mensagens do OpenLineage com o namespace custom são interpretados como nomes totalmente qualificados personalizados.