Como monitorar o Cloud Bigtable

Você pode monitorar o Cloud Bigtable visualmente usando os gráficos disponíveis no Console do Google Cloud e no Cloud Monitoring ou de maneira programática usando o Cloud Monitoring.

Os dados disponíveis por meio do Console do Google Cloud e do Cloud Monitoring fornecem uma visão geral de alto nível do uso do Cloud Bigtable. Use também a ferramenta Key Visualizer para detalhar os padrões de acesso por chave de linha e solucionar problemas específicos de desempenho. Para mais detalhes, veja Primeiros passos com o Key Visualizer.

Noções básicas de uso da CPU e do disco

Não importa que ferramenta você use para monitorar a instância, é essencial monitorar o uso da CPU e do disco de cada cluster na instância. Se o uso da CPU ou do disco de um cluster exceder determinados limites, o cluster não terá um bom desempenho e poderá retornar erros quando você tentar ler ou gravar dados.

Uso da CPU

Os nós nos clusters usam recursos da CPU para processar leituras, gravações e tarefas administrativas. Para saber mais sobre como o número de nodes afeta o desempenho de um cluster, consulte Desempenho para cargas de trabalho típicas.

O Cloud Bigtable informa as seguintes métricas de uso da CPU:

Métrica Descrição
Uso médio da CPU

O uso médio da CPU em todos os nós do cluster.

Os valores máximos recomendados oferecem espaço para breves picos de uso.

Se um cluster exceder o valor máximo recomendado para sua configuração por mais de alguns minutos, adicione nós ao cluster.

Uso do melhor nó pela CPU

Uso da CPU no nó mais ocupado do cluster.

Caso o melhor nó esteja frequentemente acima do valor recomendado, mesmo quando o uso médio da CPU é razoável, talvez você esteja acessando uma pequena parte dos dados com muito mais frequência do que o restante dos dados.

  • Use a ferramenta Key Visualizer para identificar pontos de acesso em sua tabela que podem estar causando picos no uso da CPU.
  • Verifique o design do esquema para se certificar de que ele aceita uma distribuição equilibrada de leituras e gravações em cada tabela.

Os valores dessas métricas não podem exceder o seguinte:

Configuração Valores máximos recomendados
Cluster único

70% de uso médio da CPU
90% de uso do melhor nó pela CPU

Qualquer número de clusters com roteamento de cluster único

70% de uso médio da CPU
90% de uso do melhor nó pela CPU

Dois clusters com roteamento de vários clusters

35% de uso médio da CPU
45% de uso do melhor nó pela CPU

Três ou mais clusters com roteamento de vários clusters

Depende da sua configuração. Veja os exemplos de configurações de replicação para casos de uso comuns.

Uso do disco

Para cada cluster na instância, o Cloud Bigtable armazena uma cópia separada de todas as tabelas nessa instância.

O Cloud Bigtable acompanha o uso do disco em unidades binárias, como gigabytes (GB) binários, em que 1 GB significa 230 bytes. Essa unidade de medida também é conhecida como gibibyte (GiB).

O Cloud Bigtable informa as seguintes métricas de uso do disco:

Métrica Descrição
Uso do armazenamento (bytes)

A quantidade de dados armazenados no cluster.

Ele afeta os custos. Além disso, conforme descrito abaixo, convém adicionar nós a cada cluster à medida que a quantidade de dados aumenta.

Uso do armazenamento (% máx.)

A porcentagem da capacidade de armazenamento do cluster usado. A capacidade se baseia no número de nós no cluster.

Em geral, não use mais de 70% do limite máximo de armazenamento total, para que você tenha espaço para adicionar mais dados. Se você não planeja adicionar quantidades significativas de dados à sua instância, use até 100% do limite absoluto.

Se você estiver usando mais do que a porcentagem recomendada do limite de armazenamento, adicione nós ao cluster. Também é possível excluir dados atuais, mas dados excluídos ocupam mais espaço, e não menos, até que ocorra uma compactação.

Para detalhes sobre como esse valor é calculado, consulte Uso do armazenamento por nó.

Carga do disco

A porcentagem que o cluster está usando da largura de banda máxima possível em leituras e gravações HDD. Disponível apenas para clusters de HDD.

Caso esse valor esteja sempre em 100%, talvez haja mais latência. Adicione nós ao cluster para reduzir a porcentagem da carga de disco.

Visão geral do desempenho com o Console do Cloud

Use a página de visão geral da instância para compreender o status atual dos clusters.

A página de visão geral mostra os valores atuais de diversas métricas-chave de cada cluster:

Métrica Descrição
Uso médio da CPU O uso médio da CPU em todos os nós do cluster.
Uso do melhor nó pela CPU

Uso da CPU no nó mais ocupado do cluster.

Exceder o máximo recomendado para o node mais ocupado pode causar latência e outros problemas para o cluster.

Linhas lidas O número de linhas lidas por segundo.
Linhas gravadas O número de linhas gravadas por segundo.
Capacidade de leitura O número de bytes descompactados por segundo de dados de resposta enviados. Essa métrica é relativa ao total de dados retornados após a aplicação dos filtros.
Capacidade de gravação O número de bytes descompactados por segundo recebidos quando os dados foram gravados.
Taxa de erros do sistema A porcentagem de todas as solicitações que falharam no lado do servidor do Cloud Bigtable.
Latência de replicação para entrada A quantidade de tempo mais alta no 99º percentil, em segundos, para que uma gravação em outro cluster seja replicada neste cluster.
Latência de replicação para saída A quantidade de tempo mais alta no 99º percentil, em segundos, para que uma gravação neste cluster seja replicada em outro cluster.

Para acessar a visão geral dessas métricas-chave, siga estas etapas:

  1. Abra a lista de instâncias do Cloud Bigtable no Console do Cloud.

    Abrir a lista de instâncias

  2. Clique na instância com as métricas que você quer exibir. O Console do Cloud exibe as métricas atuais para os clusters da instância.

Como monitorar o desempenho ao longo do tempo com o Console do Cloud

Use a página de monitoramento de instâncias para entender o desempenho anterior da instância. Analise o desempenho de cada cluster, e é possível detalhar as métricas de tipos diferentes de recursos do Cloud Bigtable. Os gráficos podem exibir um período que varia de uma hora atrás até 30 dias passados.

Gráficos para recursos do Cloud Bigtable

A página de monitoramento oferece gráficos para os seguintes tipos de recursos do Cloud Bigtable:

  • instâncias
  • tabelas
  • perfis de aplicativo

Os gráficos estão disponíveis para as seguintes métricas:

Métrica Disponível para Descrição
Uso da CPU Instâncias O uso médio da CPU em todos os nós do cluster.
Uso da CPU (melhor nó) Instâncias

Uso da CPU no nó mais ocupado do cluster.

Exceder o máximo recomendado para o node mais ocupado pode causar latência e outros problemas para o cluster.

Taxa de erros do usuário Instâncias

A taxa de erros causada pelo conteúdo de uma solicitação, em oposição a erros no servidor do Cloud Bigtable. A taxa de erro do usuário inclui os seguintes códigos de status:

  • INVALID_ARGUMENT
  • NOT_FOUND
  • PERMISSION_DENIED
  • RESOURCE_EXHAUSTED
  • OUT_OF_RANGE

Os erros do usuário normalmente são causados por um problema de configuração, como uma solicitação que especifica o cluster, a tabela ou o perfil incorreto do aplicativo.

Taxa de erros do sistema Instâncias A porcentagem de todas as solicitações que falharam no servidor do Cloud Bigtable. A taxa de erros do sistema inclui os seguintes códigos de status:
  • UNKNOWN
  • ABORTED
  • UNIMPLEMENTED
  • INTERNAL
  • UNAVAILABLE
Failovers automáticos Instâncias
Tabelas
Perfis de aplicativo

O número de solicitações que foram redirecionadas automaticamente de um cluster a outro devido a um cenário de failover, como uma breve interrupção ou atraso. Pode haver redirecionamento automático caso um perfil de aplicativo use o roteamento com vários clusters.

Esta tabela não inclui solicitações redirecionadas manualmente.

Uso do armazenamento (bytes) Instâncias
Tabelas

A quantidade de dados armazenados no cluster.

Essa métrica reflete o fato de que o Cloud Bigtable compacta os dados quando eles são armazenados.

Uso do armazenamento (% máx.) Instâncias

A porcentagem da capacidade de armazenamento do cluster usado. A capacidade se baseia no número de nós no cluster.

Para detalhes sobre como esse valor é calculado, consulte Uso do armazenamento por nó.

Carga do disco Instâncias A porcentagem que o cluster está usando da largura de banda máxima possível em leituras e gravações HDD. Disponível apenas para clusters de HDD.
Linhas lidas Instâncias
Tabelas
Perfis de aplicativo

O número de linhas lidas por segundo.

Essa métrica oferece uma maneira mais útil de visualizar a capacidade geral do Cloud Bigtable do que o número de solicitações de leitura, porque uma única solicitação pode ler um grande número de linhas.

Linhas gravadas Instâncias
Tabelas
Perfis de aplicativo

O número de linhas gravadas por segundo.

Essa métrica oferece uma maneira mais útil de visualizar a capacidade geral do Cloud Bigtable do que o número de solicitações de gravação, porque uma única solicitação pode gravar um grande número de linhas.

Solicitações de leitura Instâncias
Tabelas
Perfis de aplicativo
O número de leituras aleatórias e solicitações de varredura por segundo.
Solicitações de gravação Instâncias
Tabelas
Perfis de aplicativo
O número de solicitações de gravação por segundo.
Capacidade de leitura Instâncias
Tabelas
Perfis de aplicativo
O número de bytes descompactados por segundo de dados de resposta enviados. Essa métrica é relativa ao total de dados retornados após a aplicação dos filtros.
Capacidade de gravação Instâncias
Tabelas
Perfis de aplicativo
O número de bytes descompactados por segundo recebidos quando os dados foram gravados.
Contagem de nós Instâncias O número de nodes no cluster.

Para visualizar métricas desses recursos, siga estas etapas:

  1. Abra a lista de instâncias do Cloud Bigtable no Console do Cloud.

    Abrir a lista de instâncias

  2. Clique na instância com as métricas que você quer exibir.

  3. No painel esquerdo, clique em Monitoramento. O Console do Cloud exibe uma série de gráficos para a instância e uma visualização tabular das métricas da instância. Por padrão, o Console do Cloud mostra métricas da última hora e métricas separadas para cada cluster na instância.

    Para ver todos os gráficos, percorra o painel em que eles são exibidos.

    Para visualizar métricas no nível da tabela, clique em Tabelas.

    Para visualizar métricas de perfis de aplicativo individuais, clique em Perfis de aplicativo.

    Para visualizar métricas combinadas da instância como um todo, localize a seção Agrupar por acima dos gráficos e clique em Instância.

    Para visualizar métricas de um período mais longo, clique na seta ao lado de 1 hora. Escolha um período predefinido ou insira um intervalo personalizado e clique em Aplicar.

Gráficos para replicação

A página de monitoramento oferece um gráfico que mostra a latência da replicação com o passar do tempo. Visualize a latência média para gravações de replicação nos percentis 50º, 99º e 100º.

Para ver a latência de replicação com o passar do tempo, siga estas etapas:

  1. Abra a lista de instâncias do Cloud Bigtable no Console do Cloud.

    Abrir a lista de instâncias

  2. Clique na instância com as métricas que você quer exibir.

  3. No painel esquerdo, clique em Monitoramento. A página é aberta com a guia Instância selecionada.

  4. Clique na guia Replicação. O Console do Cloud exibe a latência de replicação ao longo do tempo. Por padrão, o Console do Cloud mostra a latência de replicação da última hora.

    Para alternar entre os gráficos de latência agrupados por tabela ou por cluster, use o menu Agrupar por.

    Para alterar o percentil a ser visualizado, use o menu Percentil.

    Para visualizar métricas de um período mais longo, clique na seta ao lado de 1 hora. Escolha um período predefinido ou insira um intervalo personalizado e clique em Aplicar.

Como monitorar uma instância com o Cloud Monitoring

O Cloud Bigtable exporta métricas de uso que é possível monitorar de maneira programática usando o Cloud Monitoring. Use a API Cloud Monitoring ou o Metrics Explorer para rastrear as métricas de uso do Cloud Bigtable. Além disso, é possível configurar políticas de alertas com base nas métricas de uso e adicionar gráficos dessas métricas do Cloud Bigtable a um painel personalizado.

Para ver métricas de uso no Metrics Explorer, siga estas etapas:

  1. Abra a página de monitoramento no Console do Cloud.

    Abrir a página "Monitoramento"

    Se você tiver que escolher uma conta, selecione a que usa para acessar o Google Cloud.

  2. Clique em Recursos e em Metrics Explorer.

  3. Em Localizar tipo de recurso e métrica, digite bigtable. Uma lista de recursos e métricas do Cloud Bigtable é exibida.

  4. Clique em uma métrica para ver um gráfico dela.

Você também pode usar uma biblioteca de gráficos, como Matplotlib para Python, a fim de plotar e analisar as métricas de uso do Cloud Bigtable. Para saber mais, consulte o tutorial sobre como usar o Matplotlib com o Cloud Monitoring e o Cloud Bigtable.

Para mais informações sobre como usar o Cloud Monitoring, consulte a documentação do Cloud Monitoring.

A seguir