Introdução à administração do BigQuery

Este documento apresenta as tarefas de administração do BigQuery e as funcionalidades do BigQuery que ajudam a realizá-las.

Normalmente, os administradores do BigQuery realizam os seguintes tipos de tarefas:

  • Faça a gestão de recursos, como projetos, conjuntos de dados e tabelas.
  • Proteja os recursos para que o acesso seja limitado aos principais que precisam dele.
  • Faça a gestão de cargas de trabalho, como tarefas, consultas e capacidade de computação (reservas).
  • Monitorizar recursos, incluindo quotas, tarefas e utilização de computação.
  • Otimize as cargas de trabalho para o melhor desempenho enquanto controla os custos.
  • Resolva problemas de mensagens de erro, problemas de faturação e quotas.

Este documento apresenta uma vista geral das funcionalidades que o BigQuery oferece para ajudar a realizar estas tarefas.

Para fazer uma visita guiada às funcionalidades de administração de dados do BigQuery diretamente na Google Cloud consola, clique em Fazer visita guiada.

Fazer a visita guiada

Ferramentas

O BigQuery oferece várias interfaces que pode usar para tarefas de administração. Muitas vezes, uma tarefa específica pode ser realizada com várias ferramentas, o que lhe permite escolher a ferramenta mais adequada para si. Por exemplo, pode criar uma tabela através do painel Explorador naGoogle Cloud consola, de um comando bq mk --table ou de uma declaração CREATE TABLE SQL.

  • Google Cloud consola. A Google Cloud consola tem várias páginas dedicadas à administração do BigQuery. Para mais informações, consulte o artigo Use a Google Cloud consola.

  • Declarações SQL. A página do BigQuery na Google Cloud consola tem um editor de consultas onde pode realizar tarefas administrativas através de declarações DDL e DCL. Para mais informações, consulte os artigos Linguagem de definição de dados (LDD) e Linguagem de controlo de dados (LCD).

    Pode usar procedimentos armazenados para automatizar tarefas de administração que usam declarações SQL. Para mais informações, consulte o artigo Trabalhe com procedimentos armazenados.

  • Comandos bq. A ferramenta de linhas de comando bq permite-lhe realizar muitas tarefas administrativas através de bq comandos. Pode usar a ferramenta de linha de comandos bq para realizar tarefas que não são suportadas na consola Google Cloud , para criar protótipos de capacidades antes de as codificar em consultas ou métodos da API, ou se preferir trabalhar numa interface de linha de comandos. Para mais informações, consulte o artigo Use a ferramenta de linhas de comando bq.

Gerir recursos

Os recursos do BigQuery incluem organizações, pastas, projetos, conjuntos de dados e tabelas. Esta secção descreve como gerir os recursos da sua organização.

Para informações sobre a hierarquia de recursos do BigQuery, consulte o artigo Organize os recursos do BigQuery. Em particular, pode criar um recurso Organization, que lhe permite realizar algumas tarefas, como definir controlos de acesso, ao nível da organização.

Faça a gestão de conjuntos de dados

Os conjuntos de dados são contentores para tabelas. Pode criar tabelas num conjunto de dados e, em seguida, geri-las como um grupo. Por exemplo, pode configurar o tempo de expiração predefinido da tabela de um conjunto de dados, que se aplica a todas as tabelas no conjunto de dados, a menos que o substitua. Pode copiar um grupo de tabelas criando uma cópia do respetivo conjunto de dados e controlar o acesso às tabelas ao nível do conjunto de dados.

Consulte os seguintes documentos para mais informações sobre a administração de conjuntos de dados:

Faça a gestão de tabelas

No BigQuery, os dados são armazenados em tabelas, onde podem ser consultados. Pode criar tabelas, carregar dados nas tabelas a partir de vários tipos de origens e em vários formatos, particionar tabelas com base numa coluna específica ou na hora de carregamento, agrupar tabelas, atualizar propriedades das tabelas e exportar dados das tabelas.

Consulte os seguintes documentos para ver mais informações sobre a administração de tabelas:

Recursos de etiquetas

Para ajudar a organizar os seus recursos do BigQuery, pode adicionar etiquetas aos seus conjuntos de dados, tabelas e vistas. As etiquetas são pares de chave-valor que pode anexar a um recurso. Depois de etiquetar os seus recursos, pode pesquisá-los com base nos valores das etiquetas. Por exemplo, pode usar etiquetas para agrupar conjuntos de dados por departamento adicionando etiquetas como dept:sales, dept:marketing ou dept:analytics. Em seguida, pode discriminá-los por departamento através das etiquetas.

Para mais informações, consulte o artigo Introdução às etiquetas.

Obtenha informações de recursos

Pode obter informações sobre os seus recursos do BigQuery consultando as visualizações INFORMATION_SCHEMA. O BigQuery fornece visualizações de propriedades para cada tipo de recurso. Por exemplo, a vista INFORMATION_SCHEMA.TABLES contém informações sobre as suas tabelas.

Seguem-se alguns exemplos de informações que pode obter consultando as visualizações INFORMATION_SCHEMA:

  • Ver quando uma tabela foi criada.
  • Obtenha os nomes e os tipos de dados de cada coluna numa tabela.
  • Encontre todas as tarefas em execução num projeto.
  • Obtenha uma lista das imagens instantâneas de tabelas que foram criadas a partir de uma tabela base.
  • Para um conjunto de dados, uma tabela, uma vista ou uma rotina, obtenha a declaração DDL que pode ser usada para criar o recurso.
  • Obtenha as opções que foram usadas para criar uma tabela (por exemplo, a expiração da tabela).
  • Encontre as colunas de particionamento e clustering numa tabela.
  • Obtenha a reserva atribuída de um projeto e a respetiva capacidade de espaço.

Para mais informações, consulte o artigo Introdução ao BigQuery INFORMATION_SCHEMA.

Copie dados

Pode querer criar cópias dos seus dados por vários motivos, como proteção contra erros humanos ou para reter dados para comparação no futuro. O BigQuery oferece várias opções para copiar os dados de uma tabela a partir de um momento específico.

  • Viagem no tempo. Pode ter de aceder ao estado de uma tabela tal como estava há algum tempo durante a semana anterior. Por exemplo, se os dados foram danificados devido a erro humano. O BigQuery retém os dados do histórico das suas tabelas durante sete dias. Pode aceder aos dados do histórico recentes de uma tabela através da funcionalidade de viagem no tempo.

    Para mais informações, consulte o artigo Aceda a dados históricos através da viagem no tempo.

  • Instantâneos de tabelas. Se quiser aceder ao estado de uma tabela de há mais de uma semana, considere criar momentâneos da tabela periodicamente. Os instantâneos de tabelas são cópias leves e só de leitura que lhe permitem preservar o estado das suas tabelas indefinidamente. Com as capturas de ecrã de tabelas, por exemplo, pode comparar os dados atuais de uma tabela com os dados do início do ano, o que não é possível com a viagem no tempo. Só lhe é cobrado o armazenamento dos dados que diferem entre a tabela base e a respetiva imagem instantânea da tabela.

    Para mais informações, consulte o artigo Introdução às capturas instantâneas de tabelas.

  • Clones de tabelas. Se quiser criar uma cópia leve e gravável de uma tabela, pode usar clones de tabelas. Só paga o armazenamento dos dados que diferem entre uma tabela base e o respetivo clone de tabela. Por exemplo, pode criar clones de tabelas num ambiente de teste para poder experimentar cópias dos dados de produção sem afetar os dados de produção e sem ter de pagar pelo armazenamento de cópias completas das tabelas.

    Para mais informações, consulte o artigo Introdução aos clones de tabelas.

Acompanhe a linhagem de dados

A linhagem de dados é uma funcionalidade do Catálogo universal do Dataplex que lhe permite acompanhar a forma como os dados se movem nos seus sistemas: de onde vêm, para onde são transmitidos e que transformações lhes são aplicadas. Para mais informações sobre como a linhagem de dados pode ajudar a monitorizar o movimento de dados no seu projeto, consulte o artigo Acerca da linhagem de dados no catálogo universal do Dataplex.

Recursos seguros

A segurança do BigQuery baseia-se na Google Cloud Identity and Access Management. O BigQuery permite-lhe controlar o acesso aos seus recursos em vários níveis, incluindo o acesso à organização, às pastas, aos projetos, aos conjuntos de dados, às tabelas, às colunas das tabelas e às linhas das tabelas.

Para obter informações sobre o controlo do acesso aos seus recursos do BigQuery, consulte o artigo Vista geral da segurança e da governação de dados.

Faça a gestão das cargas de trabalho

O BigQuery realiza muitas tarefas em nome dos seus utilizadores, incluindo o carregamento, a consulta e a exportação de dados. Cada tarefa é realizada por uma tarefa do BigQuery. Esta secção descreve como pode monitorizar e gerir os serviços da sua organização.

Gerir empregos

As tarefas são ações que o BigQuery executa em nome de um utilizador para carregar, exportar, consultar ou copiar dados. Quando um utilizador inicia uma destas tarefas através da Google Cloud consola, da ferramenta de linha de comandos bq, de uma declaração SQL ou de uma chamada API, o BigQuery cria automaticamente uma tarefa para executar a tarefa.

Enquanto administrador do BigQuery, pode monitorizar, gerir e resolver problemas dos trabalhos da sua organização para garantir que estão a ser executados sem problemas.

Para mais informações, consulte o artigo Faça a gestão de tarefas.

Faça a gestão das reservas

Quando o BigQuery executa consultas, usa unidades de computação denominadas slots. O BigQuery calcula quantos slots são necessários para executar cada consulta, consoante a dimensão e a complexidade da consulta.

O BigQuery tem dois modelos de preços para cobrar os slots que executam as suas consultas:

  • Faturação a pedido. As suas consultas usam um conjunto partilhado de espaços e são-lhe cobrados os bytes que as consultas processam. Para mais informações sobre os limites de faturação a pedido, consulte o artigo Tarefas de consulta.
  • Faturação baseada na capacidade. Atribui uma reserva ou um compromisso de capacidade a uma edição, cada uma com o seu próprio conjunto de funcionalidades e preço, para lhe oferecer o melhor ambiente de trabalho.

Estes modelos de preços aplicam-se por projeto, pelo que pode ter alguns projetos que usam a faturação a pedido e alguns projetos que usam a faturação baseada na capacidade.

Com a faturação a pedido, depois de consumir a sua atribuição mensal de utilização gratuita, é-lhe cobrado o número de bytes que cada consulta processa. A taxa de transferência está limitada a uma quota de slots predefinida, que é partilhada entre as consultas executadas num projeto.

Com a faturação das edições do BigQuery, atribui slots à sua organização através de reservas de escalabilidade automática e compromissos de capacidade opcionais, mas mais baratos. Os espaços para cada edição têm o seu próprio preço e oferecem o seu próprio conjunto de funcionalidades. Para mais informações acerca das edições do BigQuery e das funcionalidades associadas, consulte o artigo Introdução às edições do BigQuery.

Consulte os seguintes documentos para mais informações sobre a gestão da capacidade de computação para processar as suas consultas:

Monitorize recursos

Google Cloud permite monitorizar e auditar os seus recursos, incluindo os recursos do BigQuery. Esta secção descreve as Google Cloud capacidades de monitorização e auditoria que se aplicam ao BigQuery.

Para mais informações, consulte o artigo Introdução à monitorização do BigQuery.

O painel de controlo do Cloud Monitoring

O Cloud Monitoring oferece um painel de controlo para monitorizar o BigQuery. Use este painel de controlo para ver informações sobre incidentes do BigQuery, conjuntos de dados, tabelas, projetos, tempos de consulta e utilização de slots.

Para mais informações, consulte o artigo Veja o painel de controlo de monitorização.

Gráficos e alertas de administração

Pode usar o Cloud Monitoring para criar gráficos personalizados com base nos recursos, nas métricas e em qualquer agregação que especificar.

Para mais informações, consulte o artigo Painéis de controlo e gráficos.

Também pode criar políticas de alerta que lhe enviam uma notificação se o alerta configurado for acionado. Por exemplo, pode criar um alerta que envia um email para um endereço de email especificado se o tempo de execução de uma consulta exceder um limite especificado.

Para mais informações, consulte o artigo Criar um alerta.

Monitorize as reservas

Pode monitorizar a utilização de slots na página Gestão de capacidade da Google Cloud consola. Pode ver os seus compromissos de capacidade e onde foram atribuídas as suas reservas de horários. Também pode usar o estimador de slots (pré-visualização) para ajudar a estimar os requisitos de capacidade da sua organização com base nas métricas do histórico de desempenho.

Para mais informações, consulte o artigo Monitorizar reservas do BigQuery.

Quotas

Google Cloud define limites na utilização de recursos, incluindo recursos do BigQuery, para garantir uma utilização razoável dos recursos partilhados e para se proteger contra custos excessivos. Pode ver a sua utilização de recursos do BigQuery que têm quotas e, se necessário,pedir uma quota mais elevada através da Google Cloud consola.

Para mais informações, consulte as quotas e os limites do BigQuery.

Registos de auditoria

Os registos de auditoria na nuvem mantêm um registo de Google Cloud eventos, incluindo eventos do BigQuery. Pode usar o Explorador de registos para consultar os registos sobre eventos relacionados com tarefas, conjuntos de dados, transferências e muito mais do BigQuery. O painel de controlo Registos apresenta informações sobre erros recentes, e pode usar métricas baseadas em registos para contabilizar as entradas de registo que correspondem a um determinado filtro.

Para mais informações, consulte a Google Cloud documentação de registo.

Otimize as cargas de trabalho

Pode otimizar a configuração do BigQuery para controlar os custos de armazenamento e processamento de consultas.

Orientações sobre fiabilidade

Este documento explica a fiabilidade do BigQuery, incluindo estatísticas sobre a disponibilidade, a durabilidade, a consistência dos dados, a consistência do desempenho e a recuperação de dados no BigQuery, bem como uma revisão das considerações sobre o processamento de erros. Para saber mais sobre a fiabilidade e o planeamento de desastres, consulte o artigo Compreenda a fiabilidade.

Resolver problemas

Além das funcionalidades descritas neste documento para monitorizar e gerir o sistema BigQuery da sua organização, os seguintes recursos estão disponíveis para resolver problemas que possam surgir:

Se precisar de assistência adicional, consulte a secção Receber apoio técnico.

O que se segue?