Como criar uma visualização autorizada

O BigQuery é um serviço de armazenamento de dados para análise em escala de petabyte. Ele é usado para executar consultas SQL em grandes volumes de dados, praticamente em tempo real.

A concessão de acesso de visualização a um conjunto de dados também é conhecida como criação de visualização autorizada no BigQuery. Uma visualização autorizada permite compartilhar resultados de consultas com determinados usuários e grupos sem que eles possam acessar as tabelas subjacentes. Você também pode usar a consulta SQL da visualização para restringir as colunas (campos) que os usuários podem consultar. Neste tutorial, você criará uma visualização autorizada.

Objetivos

Neste tutorial, você verá como realizar as seguintes ações:

• Criar conjuntos de dados e aplicar controles de acesso a eles.
• Atribuir controles de acesso ao seu projeto.
• Criar uma visualização autorizada que restrinja os dados que os usuários podem consultar.

Custos

O BigQuery é um produto pago. O uso dele para seguir este tutorial gera custos. Você tem 1 TB por mês grátis para fazer consultas no BigQuery. Para mais informações, consulte a página de preços.

Antes de começar

Antes de começar este tutorial, use o Console do Google Cloud para criar ou selecionar um projeto.

1. Faça login na sua Conta do Google.

   Se você ainda não tiver uma, inscreva-se.

2. No Console do GCP, na página do seletor de projetos, selecione ou crie um projeto do GCP.

   Observação: caso não queira manter os recursos criados usando este procedimento, crie um projeto em vez de selecionar um já existente. Depois de concluir essas etapas, é possível excluir o projeto, basta remover todos os recursos associados a ele.

   Acesse a página do seletor de projetos

3. O BigQuery é ativado automaticamente em novos projetos. Para ativar o BigQuery em um projeto preexistente, clique no botão abaixo. Ative a(s) BigQuery API necessária(s).

   Ativar a(s) API

4. Se você não quiser informar um cartão de crédito ou ativar o faturamento do seu projeto, use o sandbox fornecido pelo BigQuery. É possível seguir as etapas neste tópico mesmo que seu projeto não tenha o faturamento ativado. Se quiser ativá-lo, consulte Saiba como ativar o faturamento.

Introdução

Neste tutorial, você criará dois conjuntos de dados: um para os dados de origem e outro para a visualização autorizada. O conjunto de dados de origem será alimentado pelo conjunto de dados público do GitHub. Em seguida, você criará uma visualização que consulta uma tabela no conjunto de dados de origem.

Depois de criar seus conjuntos de dados e sua visualização, você atribui controles de acesso ao projeto, ao conjunto de dados que contém a visualização e ao conjunto de dados que contém os dados de origem.

A concessão de acesso de visualização a um conjunto de dados de origem também é conhecida como criação de visualização autorizada. Ao criar uma visualização autorizada, siga estes passos:

• Criar um conjunto de dados separado para armazenar a visualização.
• Criar a visualização no novo conjunto de dados.
• Atribuir controles de acesso ao projeto.
• Atribuir controles de acesso ao conjunto de dados que contém a visualização.
• Autorizar a visualização a acessar o conjunto de dados de origem.

Criar um conjunto de dados de origem

Comece criando um conjunto de dados para armazenar os dados de origem. Neste tutorial, você preencherá uma tabela no conjunto de dados de origem consultando o conjunto de dados público do GitHub. Os dados contidos no conjunto mostram informações que não podem ser visualizadas pelos seus analistas. Você restringe o acesso aos dados usando uma visualização autorizada.

Para criar um conjunto de dados de origem, siga estas etapas:

Console

1. Abra a IU da Web do BigQuery no Console do Cloud.
   Acessar o Console do Cloud

2. Na seção Recursos do painel de navegação, selecione seu projeto e clique em Criar conjunto de dados.

3. Em ID do conjunto de dados, digite github_source_data.

4. Mantenha todas as outras configurações padrão e clique em Criar conjunto de dados.

Python

Antes de testar esta amostra, siga as instruções de configuração do Python no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API do BigQuery para Python (em inglês).

Ver no GitHub Feedback

from google.cloud import bigquery

client = bigquery.Client()
source_dataset_id = 'github_source_data'

source_dataset = bigquery.Dataset(client.dataset(source_dataset_id))
# Specify the geographic location where the dataset should reside.
source_dataset.location = 'US'
source_dataset = client.create_dataset(source_dataset)  # API request

Depois de criar o conjunto de dados de origem, preencha uma tabela nele usando uma consulta SQL. Essa consulta recupera dados do conjunto de dados público do GitHub (em inglês).

Console

1. Abra a IU da Web do BigQuery no Console do Cloud.
   Acessar o Console do Cloud

2. Clique em Escrever nova consulta.

3. Copie e cole a consulta a seguir na área de texto do Editor de consultas.

   SELECT
     commit,
     author,
     committer,
     repo_name
   FROM
     `bigquery-public-data.github_repos.commits`
   LIMIT
     1000
   

4. Clique em Mais e selecione Configurações de consulta.

5. Em Destino, marque a caixa em Definir uma tabela de destino para os resultados da consulta.

   • Em Nome do projeto, verifique se o projeto está selecionado.
   • Em Nome do conjunto de dados, verifique se github_source_data está selecionado.
   • Em Nome da tabela, digite: github_contributors.
   • Clique em Salvar.

6. Clique em Executar.

7. Quando a consulta for concluída, clique em github_contributors e em Visualizar para confirmar se os dados foram gravados na tabela.

Python

Antes de testar esta amostra, siga as instruções de configuração do Python no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API do BigQuery para Python (em inglês).

Ver no GitHub Feedback

source_table_id = 'github_contributors'
job_config = bigquery.QueryJobConfig()
job_config.destination = source_dataset.table(source_table_id)
sql = """
    SELECT commit, author, committer, repo_name
    FROM `bigquery-public-data.github_repos.commits`
    LIMIT 1000
"""
query_job = client.query(
    sql,
    # Location must match that of the dataset(s) referenced in the query
    # and of the destination table.
    location='US',
    job_config=job_config)  # API request - starts the query

query_job.result()  # Waits for the query to finish

Criar um conjunto de dados separado para armazenar sua visualização

Depois de criar seu conjunto de dados de origem, você criará um novo conjunto de dados para armazenar a visualização que será compartilhada com seus analistas de dados. Essa visualização terá acesso aos dados no conjunto de dados de origem. Os analistas de dados terão acesso à visualização, mas não aos dados de origem.

É necessário que a visualização seja criada em um conjunto de dados separado dos dados de origem consultados pela visualização. Como é possível atribuir controles de acesso apenas no nível do conjunto de dados, se a visualização for criada no mesmo conjunto de dados que os dados de origem, seus analistas de dados terão acesso tanto à visualização quanto aos dados.

Para criar um conjunto de dados e armazenar sua visualização, siga estas etapas:

Console

1. Abra a IU da Web do BigQuery no Console do Cloud.
   Acessar o Console do Cloud

2. Na seção Recursos do painel de navegação, selecione seu projeto e clique em Criar conjunto de dados.

3. Em ID do conjunto de dados, digite shared_views.

4. Mantenha todas as outras configurações padrão e clique em Criar conjunto de dados.

Python

Antes de testar esta amostra, siga as instruções de configuração do Python no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API do BigQuery para Python (em inglês).

Ver no GitHub Feedback

shared_dataset_id = 'shared_views'
shared_dataset = bigquery.Dataset(client.dataset(shared_dataset_id))
shared_dataset.location = 'US'
shared_dataset = client.create_dataset(shared_dataset)  # API request

Criar a visualização no novo conjunto de dados

No novo conjunto de dados, crie a visualização que pretende autorizar. É a visualização que você compartilha com seus analistas de dados. Ela é criada com uma consulta SQL que exclui as colunas que você não quer que os analistas de dados vejam.

Neste tutorial, sua visualização compartilhada exclui todas as informações do autor, exceto o nome, e todas as informações do autor da confirmação, exceto o nome dele.

Para criar a visualização no novo conjunto de dados, siga estas etapas:

Console

1. Abra a IU da Web do BigQuery no Console do Cloud.
   Acessar o Console do Cloud

2. Clique em Escrever nova consulta.

3. Copie e cole a consulta a seguir na área de texto do Editor de consultas. Substitua project_id pelo ID do seu projeto.

   SELECT
     commit,
     author.name as author,
     committer.name as committer,
     repo_name
   FROM
     `project_id.github_source_data.github_contributors`
   

4. Clique em Mais e selecione Configurações de consulta.

5. Em Dialeto SQL, selecione Padrão. Clique em Salvar para atualizar as configurações de consulta.

6. Clique em Salvar visualização.

7. Na caixa de diálogo Salvar visualização, faça isto:

   • Em Nome do projeto, verifique se o projeto está selecionado.
   • Em Nome do conjunto de dados, verifique se shared_views está selecionado.
   • Em Nome da tabela, digite: github_analyst_view.
   • Clique em Salvar.

Python

Antes de testar esta amostra, siga as instruções de configuração do Python no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API do BigQuery para Python (em inglês).

Ver no GitHub Feedback

shared_view_id = 'github_analyst_view'
view = bigquery.Table(shared_dataset.table(shared_view_id))
sql_template = """
    SELECT
        commit, author.name as author,
        committer.name as committer, repo_name
    FROM
        `{}.{}.{}`
"""
view.view_query = sql_template.format(
    client.project, source_dataset_id, source_table_id)
view = client.create_table(view)  # API request

Atribuir aos analistas de dados um papel do Cloud IAM para envolvidos no projeto

Para consultar a visualização, os analistas de dados precisam de permissão para executar jobs de consulta. O papel bigquery.user inclui permissões para executar jobs no projeto, incluindo jobs de consulta. Se você concede a um usuário ou grupo o papel bigquery.user para envolvidos no projeto, o favorecido pode criar conjuntos de dados e executar jobs de consulta em tabelas nesses conjuntos de dados. O papel bigquery.user não dá permissão ao usuário para consultar dados, ver dados da tabela ou visualizar os detalhes do esquema da tabela para conjuntos de dados que não foram criados por esse usuário.

Atribuir aos seus analistas de dados o papel bigquery.user para envolvidos no projeto não permite que eles visualizem ou consultem dados da tabela no conjunto de dados que contém as tabelas consultadas pela visualização. A maioria das pessoas (cientistas de dados, analistas de business intelligence, analistas de dados) em uma empresa precisa ter o papel bigquery.user para envolvidos no projeto.

Neste tutorial, os analistas de dados são um grupo chamado [e-mail]. O nome desse grupo é meramente ilustrativo. Ao adicionar um grupo a um papel de IAM, o endereço de e-mail e o domínio têm que estar associados a uma Conta do Google ativa ou a uma conta do Google Apps.

Para atribuir o grupo de analistas de dados ao papel bigquery.user para envolvidos no projeto:

Console

1. Abra a página "IAM" no Console do Google Cloud.

   Abrir a página "IAM"

2. Clique em Selecionar um projeto.

3. Selecione o projeto e clique em Abrir.

4. Na página IAM, clique em Adicionar.

5. Na caixa de diálogo Adicionar membros, faça isto:

   • Em Membros, insira o nome do grupo: [e-mail].
   • Em Papéis, clique em Selecionar um papel e escolha BigQuery > Usuário do BigQuery.
   • Clique em Adicionar.

Atribuir controles de acesso ao conjunto de dados que contém a visualização

Para que os analistas de dados consultem a visualização, eles precisam receber o papel bigquery.dataViewer no conjunto de dados que contém a visualização. O papel bigquery.user concede aos analistas de dados as permissões necessárias para criar jobs de consulta. No entanto, eles não podem consultar a visualização a menos que também tenham o acesso mínimo de bigquery.dataViewer ao conjunto de dados que contém a visualização.

Para conceder acesso bigquery.dataViewer ao conjunto de dados para os analistas de dados, siga estas etapas:

Console

1. Na seção Recursos, selecione o conjunto de dados shared_views e clique em Compartilhar conjunto de dados.

2. No painel de Permissões do conjunto de dados, clique em Adicionar membros.

3. Digite [e-mail] na caixa de texto Novos membros.

4. Clique em Selecionar papel e selecione BigQuery > Visualizador de dados do BigQuery.

5. Clique em Concluído.

Python

Antes de testar esta amostra, siga as instruções de configuração do Python no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API do BigQuery para Python (em inglês).

Ver no GitHub Feedback

# analyst_group_email = '[e-mail]'
access_entries = shared_dataset.access_entries
access_entries.append(
    bigquery.AccessEntry('READER', 'groupByEmail', analyst_group_email)
)
shared_dataset.access_entries = access_entries
shared_dataset = client.update_dataset(
    shared_dataset, ['access_entries'])  # API request

Autorizar a visualização a acessar o conjunto de dados de origem

Com os controles de acesso criados para o conjunto de dados que contém a visualização, você a adiciona como uma visualização autorizada no conjunto de dados de origem. Isso permite o acesso de visualização aos dados de origem, não ao grupo de analistas de dados.

Para autorizar que a visualização acesse os dados de origem, siga estas etapas:

Console

1. Selecione o conjunto de dados github_source_data em Recursos e clique em Compartilhar conjunto de dados.

2. No painel de Permissões do conjunto de dados, clique na guia Visualizações autorizadas.

3. Em Compartilhar visualização autorizada, faça isto:

   • Em Selecionar projeto, verifique se o projeto está selecionado.
   • Em Selecionar conjunto de dados, selecione shared_views.
   • Em Selecionar visualização, digite o nome da visualização: github_analyst_view.
   • Clique em OK.

4. Clique em Adicionar e depois em Concluído.

Python

Antes de testar esta amostra, siga as instruções de configuração do Python no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API do BigQuery para Python (em inglês).

Ver no GitHub Feedback

access_entries = source_dataset.access_entries
access_entries.append(
    bigquery.AccessEntry(None, 'view', view.reference.to_api_repr())
)
source_dataset.access_entries = access_entries
source_dataset = client.update_dataset(
    source_dataset, ['access_entries'])  # API request

Verificar a configuração

Quando sua configuração estiver concluída, um membro do grupo data_analysts poderá verificar a configuração consultando a visualização.

Para verificar a configuração, siga estas etapas:

Console

1. Peça para um membro do grupo data_analysts acessar a IU da Web do BigQuery no Console do Cloud.
   Acessar o Console do Cloud

2. Clique em Escrever nova consulta.

3. Copie e cole a consulta a seguir na área de texto do Editor de consultas.

   SELECT
     *
   FROM
     `shared_views.github_analyst_view`
   

Código-fonte completo

Veja aqui o código-fonte completo do tutorial da sua referência.

Python

Antes de testar esta amostra, siga as instruções de configuração do Python no Guia de início rápido do BigQuery: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API do BigQuery para Python (em inglês).

Ver no GitHub Feedback

# Create a source dataset
from google.cloud import bigquery

client = bigquery.Client()
source_dataset_id = 'github_source_data'

source_dataset = bigquery.Dataset(client.dataset(source_dataset_id))
# Specify the geographic location where the dataset should reside.
source_dataset.location = 'US'
source_dataset = client.create_dataset(source_dataset)  # API request

# Populate a source table
source_table_id = 'github_contributors'
job_config = bigquery.QueryJobConfig()
job_config.destination = source_dataset.table(source_table_id)
sql = """
    SELECT commit, author, committer, repo_name
    FROM `bigquery-public-data.github_repos.commits`
    LIMIT 1000
"""
query_job = client.query(
    sql,
    # Location must match that of the dataset(s) referenced in the query
    # and of the destination table.
    location='US',
    job_config=job_config)  # API request - starts the query

query_job.result()  # Waits for the query to finish

# Create a separate dataset to store your view
shared_dataset_id = 'shared_views'
shared_dataset = bigquery.Dataset(client.dataset(shared_dataset_id))
shared_dataset.location = 'US'
shared_dataset = client.create_dataset(shared_dataset)  # API request

# Create the view in the new dataset
shared_view_id = 'github_analyst_view'
view = bigquery.Table(shared_dataset.table(shared_view_id))
sql_template = """
    SELECT
        commit, author.name as author,
        committer.name as committer, repo_name
    FROM
        `{}.{}.{}`
"""
view.view_query = sql_template.format(
    client.project, source_dataset_id, source_table_id)
view = client.create_table(view)  # API request

# Assign access controls to the dataset containing the view
# analyst_group_email = '[e-mail]'
access_entries = shared_dataset.access_entries
access_entries.append(
    bigquery.AccessEntry('READER', 'groupByEmail', analyst_group_email)
)
shared_dataset.access_entries = access_entries
shared_dataset = client.update_dataset(
    shared_dataset, ['access_entries'])  # API request

# Authorize the view to access the source dataset
access_entries = source_dataset.access_entries
access_entries.append(
    bigquery.AccessEntry(None, 'view', view.reference.to_api_repr())
)
source_dataset.access_entries = access_entries
source_dataset = client.update_dataset(
    source_dataset, ['access_entries'])  # API request

Limpeza

Para evitar cobranças na conta do Google Cloud Platform pelos recursos usados neste tutorial:

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para seguir este tutorial, a exclusão dele incluirá quaisquer outras ações feitas no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar vários tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. No Console do GCP, acesse a página Gerenciar recursos.

   Acessar a página Gerenciar recursos

2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
3. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

A seguir

• Leia Permissões e papéis predefinidos para saber mais sobre os controles de acesso no BigQuery.
• Leia Introdução às visualizações para saber mais sobre as visualizações do BigQuery.
• Leia Visão geral do IAM para saber mais sobre os conceitos básicos do IAM.
• Leia Como gerenciar políticas para saber como gerenciar o controle de acesso.