Como monitorar uma instância do Cloud Bigtable

Monitore visualmente a instância do Cloud Bigtable usando os gráficos disponíveis no Console do Google Cloud Platform e no Stackdriver Monitoring ou de maneira programática usando o Stackdriver Monitoring.

Os dados disponíveis por meio do Console do Google Cloud Platform e do Stackdriver Monitoring oferecem uma visão geral em alto nível do uso do Cloud Bigtable. Use também a ferramenta Key Visualizer para detalhar os padrões de acesso por chave de linha e solucionar problemas específicos de desempenho. Para mais detalhes, veja Primeiros Passos com o Key Visualizer.

Noções básicas de uso da CPU e do disco

Não importa que ferramenta você use para monitorar a instância, é essencial monitorar o uso da CPU e do disco de cada cluster na instância. Se o uso da CPU ou do disco de um cluster exceder determinados limites, o cluster não terá um bom desempenho e poderá retornar erros quando você tentar ler ou gravar dados.

Uso da CPU

Os nodes nos clusters usam recursos da CPU para processar leituras, gravações e tarefas administrativas. Para saber mais sobre como o número de nodes afeta o desempenho de um cluster, consulte Desempenho para cargas de trabalho típicas.

O Cloud Bigtable informa as seguintes métricas de uso da CPU:

Métrica Descrição
Uso médio da CPU

O uso médio da CPU em todos os nós do cluster.

Os valores máximos recomendados oferecem espaço para breves picos de uso.

Se um cluster exceder o valor máximo recomendado para sua configuração por mais de alguns minutos, adicione nós ao cluster.

Uso do melhor nó pela CPU

Uso da CPU no nó mais ocupado do cluster.

Caso o melhor nó esteja frequentemente acima do valor recomendado, mesmo quando o uso médio da CPU for razoável, talvez você esteja acessando uma pequena parte dos dados com muito mais frequência do que o restante dos dados.

  • Use a ferramenta Key Visualizer para identificar pontos de acesso em sua tabela que podem estar causando picos no uso da CPU.
  • Verifique o design do esquema para se certificar de que ele aceita até mesmo a distribuição de leituras e gravações em cada tabela.

Os valores dessas métricas não podem exceder o seguinte:

Configuração Valores máximos recomendados
Cluster único

70% de uso médio da CPU
90% de uso do melhor nó pela CPU

Qualquer número de clusters com roteamento de cluster único

70% de uso médio da CPU
90% de uso do melhor nó pela CPU

Dois clusters com roteamento de vários clusters

35% de uso médio da CPU
45% de uso do melhor nó pela CPU

Três ou mais clusters com roteamento de vários clusters

Depende da sua configuração. Veja os exemplos de configurações de replicação para casos de uso comuns.

Uso do disco

Para cada cluster na instância, o Cloud Bigtable armazena uma cópia separada de todas as tabelas nessa instância.

O Cloud Bigtable acompanha o uso do disco em unidades binárias, como gigabytes (GB) binários, em que 1 GB significa 230 bytes. Essa unidade de medida também é conhecida como gibibyte (GiB).

O Cloud Bigtable informa as seguintes métricas de uso do disco:

Métrica Descrição
Utilização do armazenamento (bytes)

O valor de dados armazenados no cluster.

Ele afeta os custos. Além disso, conforme descrito abaixo, convém adicionar nodes a cada cluster à medida que o valor de dados aumenta.

Utilização do armazenamento (% máx.)

A porcentagem da capacidade de armazenamento do cluster usado. A capacidade se baseia no número de nodes no cluster.

Em geral, não use mais de 70% do limite máximo de armazenamento total, para que você tenha espaço para adicionar mais dados. Se você não planeja adicionar quantidades significativas de dados à sua instância, pode usar até 100% do limite máximo.

Se você estiver usando mais do que a porcentagem recomendada do limite de armazenamento, adicione nós ao cluster. Também é possível excluir dados atuais, mas esteja ciente de que dados excluídos ocupam mais espaço até que a compactação ocorra.

Para ter detalhes sobre como esse valor é calculado, consulte Utilização do armazenamento por nó.

Carga do disco

A porcentagem que o cluster está usando da largura de banda máxima possível em leituras e gravações HDD. Disponível apenas para clusters de HDD.

Caso esse valor esteja sempre em 100%, talvez haja mais latência. Adicione nodes ao cluster para reduzir a porcentagem da carga de disco.

Como receber uma visão geral de desempenho com o console do GCP

Use a página de visão geral da instância para compreender a integridade atual dos clusters da instância.

A página de visão geral mostra os valores atuais de diversas métricas-chave de cada cluster:

Métrica Descrição
Utilização média da CPU A utilização média da CPU em todos os nodes do cluster.
Utilização do melhor node pela CPU

Utilização da CPU no node mais ocupado do cluster.

Exceder o máximo recomendado para o node mais ocupado pode causar latência e outros problemas para o cluster.

Linhas lidas O número de linhas lidas por segundo.
Linhas gravadas O número de linhas gravadas por segundo.
Capacidade de leitura O número de bytes descompactados por segundo de dados de resposta enviados. Essa métrica é relativa ao total de dados retornados após a aplicação dos filtros.
Capacidade de gravação O número de bytes descompactados por segundo recebidos quando os dados foram gravados.
Taxa de erros do sistema A porcentagem de todas as solicitações que falharam no lado do servidor do Cloud Bigtable.
Latência de replicação para entrada O valor médio de tempo no 99º percentil, em segundos, entre uma gravação em outro cluster e a mesma gravação replicada para esse cluster.
Latência de replicação para saída O valor médio de tempo no 99º percentil, em segundos, entre uma gravação nesse cluster e a mesma gravação replicada para outro cluster.

Para ver uma visão geral dessas métricas-chave:

  1. Abra a lista de instâncias do Cloud Bigtable no console do GCP.

    Abrir a lista de instâncias

  2. Clique na instância com métricas que você quer exibir. O console do GCP exibe as métricas atuais dos clusters da instância.

Como monitorar desempenho com o passar do tempo com o console do GCP

Use a página de monitoramento da instância para entender o desempenho anterior da instância. Analise o desempenho de cada cluster, e é possível detalhar as métricas de tipos diferentes de recursos do Cloud Bigtable. Os gráficos podem exibir um período que varia de uma hora atrás até 30 dias passados.

Gráficos para recursos do Cloud Bigtable

A página de monitoramento oferece gráficos para os seguintes tipos de recursos do Cloud Bigtable:

  • instâncias
  • tabelas
  • perfis de aplicativo

Os gráficos estão disponíveis para as seguintes métricas:

Métrica Disponível para Descrição
Utilização da CPU Instâncias A utilização média da CPU em todos os nodes do cluster.
Utilização da CPU (melhor node) Instâncias

Utilização da CPU no node mais ocupado do cluster.

Exceder o máximo recomendado para o node mais ocupado pode causar latência e outros problemas para o cluster.

Taxa de erros do usuário Instâncias

A taxa de erros causada pelo conteúdo de uma solicitação, em oposição a erros no lado do servidor do Cloud Bigtable.

Os erros do usuário normalmente são causados por um problema de configuração, como uma solicitação que especifica o cluster, a tabela ou o perfil incorreto do aplicativo.

Taxa de erros do sistema Instâncias
Tabelas
Perfis de app
A porcentagem de todas as solicitações que falharam no lado do servidor do Cloud Bigtable.
Utilização do armazenamento (bytes) Instâncias
Tabelas

O valor de dados armazenados no cluster.

Essa métrica reflete o fato de que o Cloud Bigtable compacta os dados quando eles são armazenados.

Utilização do armazenamento (% máx.) Instâncias

A porcentagem da capacidade de armazenamento do cluster usado. A capacidade se baseia no número de nodes no cluster.

Para detalhes sobre como esse valor é calculado, consulte Utilização do Storage por node.

Carga do disco Instâncias A porcentagem que o cluster está usando da largura de banda máxima possível em leituras e gravações HDD. Disponível apenas para clusters de HDD.
Linhas lidas Instâncias
Tabelas
Perfis de app

O número de linhas lidas por segundo.

Essa métrica oferece uma maneira mais útil de visualizar a capacidade geral do Cloud Bigtable do que o número de solicitações de leitura, porque uma única solicitação pode ler um grande número de linhas.

Linhas gravadas Instâncias
Tabelas
Perfis de app

O número de linhas gravadas por segundo.

Essa métrica oferece uma maneira mais útil de visualizar a capacidade geral do Cloud Bigtable do que o número de solicitações de gravação, porque uma única solicitação pode gravar um grande número de linhas.

Solicitações de leitura Instâncias
Tabelas
Perfis de app
O número de leituras aleatórias e solicitações de verificação por segundo.
Solicitações de gravação Instâncias
Tabelas
Perfis de app
O número de solicitações de gravação por segundo.
Capacidade de leitura Instâncias
Tabelas
Perfis de aplicativo
O número de bytes descompactados por segundo de dados de resposta enviados. Essa métrica é relativa ao total de dados retornados após a aplicação dos filtros.
Capacidade de gravação Instâncias
Tabelas
Perfis de aplicativo
O número de bytes descompactados por segundo recebidos quando os dados foram gravados.
Contagem de nós Instâncias O número de nodes no cluster.

Para visualizar métricas desses recursos:

  1. Abra a lista de instâncias do Cloud Bigtable no console do GCP.

    Abrir a lista de instâncias

  2. Clique na instância com métricas que você quer exibir.

  3. No painel esquerdo, clique em Monitoramento. No console do GCP, são exibidos vários gráficos da instância, bem como uma visualização tabular das métricas da instância. Por padrão, no console do GCP são exibidas as métricas da última hora e na instância, são exibidas as métricas separadas para cada cluster.

    Para visualizar todos os gráficos, percorra o painel em que eles são exibidos.

    Para visualizar métricas de tabelas individuais ou perfis de aplicativo, clique na lista suspensa Visualizar métricas de e selecione Tabelas ou Perfis de aplicativo.

    Para visualizar métricas combinadas da instância como um todo, localize a seção Agrupar por acima dos gráficos e clique em Instância.

    Para visualizar métricas de um período mais longo, clique em uma das escalas de tempo no canto superior direito dos gráficos.

Gráficos para replicação

A página de monitoramento oferece um gráfico que mostra a latência da replicação com o passar do tempo. Visualize a latência média para gravações de replicação nos percentis 50º, 99º e 100º.

Para visualizar a latência de replicação com o passar do tempo:

  1. Abra a lista de instâncias do Cloud Bigtable no console do GCP.

    Abrir a lista de instâncias

  2. Clique na instância com métricas que você quer exibir.

  3. No painel esquerdo, clique em Monitoramento.

  4. Na lista suspensa Visualizar métricas de, selecione Replicação. O console do GCP exibe a latência de replicação com o passar do tempo. Por padrão, o console do GCP mostra a latência de replicação da hora passada.

    Uma barra cinza cobrindo parte do gráfico pode ser exibida. A barra indica que a replicação não estava ocorrendo durante esse período porque não havia gravação de entrada ou por causa de um problema no serviço do Cloud Bigtable. As métricas de latência durante esses períodos talvez não sejam precisas.

    Para alterar se as métricas são agregadas ou não para a instância como um todo ou apresentadas separadamente para cada cluster, clique em um dos botões em Agrupar por.

    Para alterar qual percentil visualizar, clique em um dos botões em Percentil.

    Para visualizar métricas de um período mais longo, clique em uma das escalas de tempo no canto superior direito dos gráficos.

Como monitorar uma instância com Stackdriver Monitoring

O Cloud Bigtable exporta métricas de uso monitoradas de maneira programática usando o Stackdriver Monitoring. Use a Stackdriver Monitoring API ou o Metrics Explorer para rastrear as métricas de uso do Cloud Bigtable. Além disso, é possível configurar políticas de alertas de acordo com as métricas de uso e adicionar gráficos dessas métricas do Cloud Bigtable a um painel personalizado.

Para visualizar métricas de uso no Metrics Explorer:

  1. Abra a página "Monitoramento" no console do GCP.

    Abrir a página "Monitoramento"

    Caso você precise escolher uma conta, opte pela usada para acessar o Google Cloud Platform.

  2. Clique em Recursos e em Metrics Explorer.

  3. Em Find resource type and metric, digite bigtable. Uma lista de recursos e métricas do Cloud Bigtable é exibida.

  4. Clique em uma métrica para visualizar um gráfico dela.

Você também pode usar uma biblioteca de gráficos, como Matplotlib para Python, a fim de plotar e analisar as métricas de uso do Cloud Bigtable. Para saber mais, consulte o tutorial sobre como usar o Matplotlib com o Stackdriver Monitoring e o Cloud Bigtable.

Para mais informações sobre como usar o Stackdriver Monitoring, consulte a documentação do Stackdriver Monitoring.

Próximas etapas

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Documentação do Cloud Bigtable