Nesta página, explicamos como pesquisar e gerenciar o Spanner recursos usando o Data Catalog.
O Data Catalog é um serviço de metadados escalonável e totalmente gerenciado no Dataplex. Ele cataloga automaticamente os seguintes metadados sobre instâncias, bancos de dados, tabelas, colunas e visualizações do Spanner:
- Nome e nome totalmente qualificado
- Local (região)
- Data de criação e data da última modificação
- Esquema (para tabelas e visualizações)
- Descrição
Os metadados do Spanner são sincronizados automaticamente com o Data Catalog em intervalos regulares, geralmente a cada poucas horas. É possível usar o Data Catalog para descobrir e entender os metadados do Spanner. Usar o Data Catalog para ajudar nas seguintes atividades:
- Análise, incluindo dependências e adequação a um caso de uso
- Gestão da mudança
- Movimentação de dados (pipelines)
- Evolução do esquema
Com o Data Catalog, é possível selecionar metadados anexando tags a Entradas de metadados do Spanner. Cada tag pode ter vários campos de metadados e pode ser baseada em um modelo de tag predefinido ou personalizado.
Por exemplo, você pode anexar a seguinte tag a uma coluna que contenha um CPF ou CNPJ, que são informações de identificação pessoal (PII):
pii:true
pii_type:SSN
Quando você move uma instância que usa tags, elas não são movidas automaticamente para a instância de destino. Em vez disso, você precisa exportar as tags instância de origem antes de movê-la e importe as tags para o instância de destino. Para mais informações, consulte Exportar e importar tags.
Para saber mais sobre o Data Catalog, consulte O que é o Data Catalog.
Antes de começar
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Ative a API Data Catalog para o projeto.
-
Verifique as permissões.
Alguns papéis e permissões do Identity and Access Management (IAM) são necessários para pesquisar e anexar tags aos recursos do Spanner. Para mais detalhes, consulte Permissões e papéis do IAM necessários para o Data Catalog.
Criar modelos de tag
Os modelos de tag são estruturas reutilizáveis que podem ser usadas para criar novas tags rapidamente. Os modelos ajudam a evitar duplicação de trabalho e tags incompletas. Crie quantos de tags de acordo com suas necessidades.
Para saber mais, consulte Tags e modelos de tag.
Anexar tags a recursos do Spanner
Anexar tags aos recursos do Spanner permite que você faça o seguinte:
- Adicionar metadados comerciais aos recursos.
- Pesquise recursos por metadados da empresa e outros metadados personalizados.
Para saber mais, consulte Tags e tags de modelos.
Pesquisar recursos do Spanner
Usar a página de pesquisa do Dataplex no console do Google Cloud para pesquisar recursos do Spanner.
Acesse a página de pesquisa do Dataplex.
No painel Filtros, em Sistemas, selecione Spanner.
O Dataplex mostra todos os recursos conhecidos do Spanner.
Opcional: siga um destes procedimentos para restringir a pesquisa:
Use a pesquisa facetada na página Pesquisa. Marque as caixas de seleção em Tipos de dados, Projetos e Tags.
No campo de pesquisa, anexe um parâmetro de pesquisa após
system=cloud_spanner
. Separe os parâmetros com espaços.
Por exemplo, para visualizar apenas bancos de dados, insira o texto a seguir no campo de pesquisa e pressione
Enter
.system=cloud_spanner type=database
Também é possível usar parênteses e os operadores lógicos
and
eor
para expressões complexas. Para saber mais sobre as expressões que você pode usar no campo de pesquisa, consulte Pesquisa do Data Catalog sintaxe.Na tabela de resultados, clique no nome de um recurso para visualizar os metadados dele.
Opcional: faça o seguinte:
- Clique em ADICIONAR VISÃO GERAL para incluir uma descrição em rich text do recurso.
- Clique em ANEXAR TAGS para adicionar uma ao recurso.
- Para uma tabela, clique na guia ESQUEMA para conferir as colunas.
- Em uma instância (SERVIÇO), para conferir os bancos de dados dos membros, clique na guia LISTA DE ENTRADAS e em EXIBIR AS ENTRADAS FILHAS NA PESQUISA. Se o A guia ENTRY LIST não aparece, significa que a instância não tem bancos de dados.
Exemplo de fluxo de trabalho: detalhamento da instância para as colunas
Neste fluxo de trabalho de exemplo, você começa pesquisando um nome do acessar o banco de dados de membros, uma tabela nesse banco de dados e e visualizar as colunas na tabela.
Acesse a página de pesquisa do Dataplex.
No painel Filtros, em Sistemas, selecione Spanner.
Para conferir todas as instâncias do Spanner no Data Catalog, marque a caixa de seleção Serviço em Tipos de dados ou digite o após o texto no campo de pesquisa e pressione
Enter
.system=cloud_spanner type=service
Selecione um nome de instância.
Na página Detalhes do serviço do Spanner, clique na ENTRADA LISTA e depois em VER INSCRIÇÕES DE CRIANÇAS NA PESQUISA.
O Dataplex exibe os bancos de dados na instância.
Na página Detalhes do banco de dados do Spanner, clique na ENTRADA LISTA e depois em VER INSCRIÇÕES DE CRIANÇAS NA PESQUISA.
O Dataplex mostra as tabelas no banco de dados.
Selecione um nome de tabela e, na página Detalhes da tabela do Spanner, clique em ESQUEMA para conferir as colunas da tabela.
Opcional: para adicionar uma tag a uma coluna, clique no sinal de adição em Coluna .
Exportar e importar tags
Quando você move uma instância do Spanner, o processo de mudança exclui as tags de instância que você criou no Data Catalog. Para preservar suas tags, você precisa fazer o seguinte:
- Consultar as tags associadas à instância.
- Copie os detalhes das tags.
- Crie as tags na instância movida.
O Spanner sincroniza dados a cada 6 horas. Alterações de metadados feitas em Recursos do Spanner, como instâncias, bancos de dados, tabelas, visualizações ou as colunas podem levar cerca de seis horas para serem propagadas para o Data Catalog.
Exportar tags da configuração da instância de origem
Para listar as tags de uma instância (entrada ou grupo de entrada), use o comando gcloud data-catalog tags list
da CLI do Google Cloud da seguinte maneira:
curl \ 'https://datacatalog.googleapis.com/v1/projects/PROJECT/locations/LOCATION/entryGroups/ENTRY_GROUP/tags?key=API_KEY' \ --header 'Authorization: Bearer ACCESS_TOKEN' \ --header 'Accept: application/json' \ --compressed
Substitua:
- PROJECT: projeto que contém as tags.
- LOCATION: local das tags.
- API_KEY: uma string exclusiva que permite acessar uma API.
- ACCESS_TOKEN: o token de acesso que o aplicativo usa para autenticar o serviço.
Importar tags para a configuração de destino
Antes de concluir este procedimento, faça o seguinte:
Para copiar uma tag, crie as tags na instância movida usando o
gcloud data-catalog tags create
da seguinte forma:
curl --request POST \
'https://datacatalog.googleapis.com/v1/entries:lookup?fullyQualifiedName=FQN&location=LOCATION&project=PROJECT&key=API_KEY' \
--header 'Authorization: Bearer ACCESS_TOKEN' \
--header 'Accept: application/json' \
--header 'Content-Type: application/json' \
--data '{"column":"myColumnName","name":"myTagName","template":"myTemplateName","fields":{"myDoubleField":{"doubleValue":0}}}' \
--compressed
Substitua:
FQN: nome totalmente qualificado (FQN, na sigla em inglês) do recurso. Os FQDNs têm duas formas:
Para recursos não regionalizados: {SYSTEM}:{PROJECT}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}
Para recursos regionalizados: {SYSTEM}:{PROJECT}.{LOCATION_ID}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}
Exemplo de uma tabela DPMS:
dataproc_metastore:{PROJECT_ID}.{LOCATION_ID}.{INSTANCE_ID}.{DATABASE_ID}.{TABLE_ID}
LOCATION: local em que a pesquisa é realizada.
PROJECT: projeto em que a pesquisa é realizada.
API_KEY: uma string exclusiva que permite acessar uma API.
ACCESS_TOKEN: o token de acesso que o aplicativo usa para autenticar o serviço.
Permissões e papéis do IAM necessários para o Data Catalog
A tabela a seguir mostra os papéis e as permissões do IAM necessários para as várias operações do Data Catalog.
Operação do Data Catalog | Recurso do Spanner | Papéis ou permissões necessários |
---|---|---|
Criar um modelo de tag | N/A | roles/datacatalog.tagTemplateCreator |
Pesquisar recursos do Spanner | Instância | spanner.instances.get |
Banco de dados | spanner.databases.get | |
Tabela | spanner.databases.get | |
Visualizações | spanner.databases.get | |
Ver tags públicas | Instância | spanner.instances.get |
Banco de dados | spanner.databases.get | |
Tabela | spanner.databases.get | |
Visualizações | spanner.databases.get | |
Conferir tags particulares | Instâncias | datacatalog.tagTemplates.getTag + spanner.instances.get |
Bancos de dados | datacatalog.tagTemplates.getTag + spanner.databases.get | |
Tabelas | datacatalog.tagTemplates.getTag + spanner.databases.get | |
Visualizações | datacatalog.tagTemplates.getTag + spanner.databases.get | |
Anexar uma tag a um recurso do Spanner usando um modelo de tag | Instâncias | datacatalog.tagTemplates.use + spanner.instances.updateTag |
Bancos de dados | datacatalog.tagTemplates.use + spanner.databases.updateTag | |
Tabelas | datacatalog.tagTemplates.use + spanner.databases.updateTag | |
Visualizações | datacatalog.tagTemplates.use + spanner.databases.updateTag |
A permissão spanner.instances.UpdateTag
está incluída no seguinte papel:
- roles/spanner.admin
A permissão spanner.databases.UpdateTag
está incluída nos seguintes papéis:
- roles/spanner.admin
- roles/spanner.databaseAdmin
- roles/spanner.databaseUser
Para mais informações, consulte Papéis predefinidos.
A seguir
- O que é o Data Catalog
- Papéis para pesquisar recursos do Google Cloud
- Sobre o controle de acesso granular