Visão geral das exportações de dados do Trace

Nesta página, você encontra uma visão geral conceitual da exportação de dados de trace usando o Cloud Trace. Convém exportar dados de trace pelos seguintes motivos:

  • Para armazenar dados de trace por um período maior do que o período de retenção padrão de 30 dias.
  • Para usar as ferramentas do BigQuery para analisar os dados de trace. Por exemplo, usando o BigQuery, é possível identificar contagens de períodos e quantis. Para informações sobre a consulta usada para gerar a tabela a seguir, veja Consulta do HipsterShop.

    Exibe a resposta para a consulta anterior.

Como funcionam as exportações

A exportação envolve a criação de um coletor para um projeto do Google Cloud. Um coletor define um conjunto de dados do BigQuery como o destino.

É possível criar um coletor usando a API Cloud Trace ou a ferramenta de linha de comando gcloud.

Propriedades e terminologia de coletores

Os coletores são definidos para um projeto do Google Cloud e têm as seguintes propriedades:

  • Nome: um nome para o coletor. Por exemplo, um nome pode ser:

    "projects/[PROJECT_NUMBER]/traceSinks/my-sink"
    

    em que [PROJECT_NUMBER] é o número do projeto do Google Cloud do coletor e my-sink é o identificador do coletor.

  • Pai: o recurso em que você cria o coletor. O pai precisa ser um projeto do Google Cloud:

    "projects/[PROJECT_ID]"
    

    O [PROJECT_ID] pode ser um identificador ou número de projeto do Google Cloud.

  • Destino: um único lugar para enviar períodos de trace. O Trace é compatível com a exportação de traces para o BigQuery. O destino pode ser o projeto do Google Cloud do coletor ou qualquer outro projeto do Google Cloud que esteja na mesma organização.

    Por exemplo, um destino válido é:

    bigquery.googleapis.com/projects/[DESTINATION_PROJECT_NUMBER]/datasets/[DATASET_ID]
    

    em que [DESTINATION_PROJECT_NUMBER] é o número do projeto do Google Cloud do destino e [DATASET_ID] é o identificador do conjunto de dados do BigQuery.

  • Identidade do gravador: um nome da conta de serviço. O proprietário do destino de exportação precisa conceder a essa conta de serviço permissões para gravar no destino de exportação. Ao exportar traces, o Trace adota essa identidade para autorização. Para aumentar a segurança, novos coletores recebem uma conta de serviço exclusiva:

    export-[PROJECT_NUMBER]-[GENERATED_ID]@gcp-sa-cloud-trace.iam.gserviceaccount.com
    

    em que [PROJECT_NUMBER] é o número do projeto do Google Cloud, em hexadecimal, e [GENERATED_ID] é um valor gerado aleatoriamente.

    Para informações sobre como usar a identidade do gravador, consulte as permissões de destino.

Como funcionam os coletores

Sempre que um período de trace chega a um projeto, o Trace exporta uma cópia do período.

Os traces recebidos antes da criação do coletor não podem ser exportados.

Controle de acesso

Para criar ou modificar um coletor, você precisa ter um dos seguintes papéis de gerenciamento de identidade e acesso:

  • Administrador do Trace
  • Usuário do Trace
  • Proprietário do projeto
  • Editor do projeto

Para mais informações, consulte Controle de acesso.

Para exportar traces para um destino, a conta de serviço do gravador do coletor precisa ter permissão para gravar no destino. Para mais informações sobre identidades de gravador, consulte Propriedades do coletor nesta página.

Cotas e limites

O Cloud Trace utiliza a API de streaming do BigQuery para enviar períodos de trace para o destino. O Cloud Trace agrupa chamadas de API. O Cloud Trace não implementa um mecanismo de repetição ou limitação. Períodos de trace podem não ser exportados se a quantidade de dados exceder as cotas de destino.

Para detalhes sobre cotas e limites do BigQuery, consulte Cotas e limites.

Preço

A exportação de traces não gera cobranças do Cloud Trace. No entanto, você pode ter cobranças do BigQuery. Consulte Preços do BigQuery para mais informações.

Como estimar seus custos

O BigQuery cobra pela ingestão e armazenamento de dados. Para estimar os custos mensais do BigQuery, faça o seguinte:

  1. Estime o número total de períodos de trace ingeridos em um mês.

    A janela Visão geral do Trace exibe o número de períodos cobráveis ingeridos no mês atual e no mês anterior:

    Acessar o "Trace"

    O número de períodos listados no painel de visão geral não inclui aqueles que não são faturáveis. Para mais informações, consulte Preços.

  2. Estime os requisitos de streaming com base no número de períodos de trace ingeridos.

    Cada período é gravado em uma linha da tabela. Cada linha no BigQuery requer pelo menos 1.024 bytes. Portanto, um limite inferior nos requisitos de streaming do BigQuery é atribuir 1.024 bytes a cada período. Por exemplo, se o projeto do Google Cloud ingeriu 200 períodos, esses períodos exigem pelo menos 20.400 bytes para a inserção de streaming.

  3. Use a calculadora de preços para estimar os custos do BigQuery referentes a armazenamento, inserções de streaming e consultas.

Como visualizar e gerenciar o uso do BigQuery

Você pode usar o Metrics Explorer para ver o uso do BigQuery. Você também pode criar uma política de alertas que notifique se o uso do BigQuery exceder os limites predefinidos. A tabela a seguir contém as configurações para criar uma política de alertas. Use as configurações na tabela do painel de destino quando criar um gráfico ou usar o Metrics Explorer.

Para criar uma política de alertas que é acionada quando as métricas do BigQuery ingeridas ultrapassam um nível definido pelo usuário, faça o seguinte:

Campo do painel
Valor desejado

Valor
Resource type Insira BigQuery Dataset
Metric As métricas específicas para o uso incluem Stored bytes, Uploaded bytes e Uploaded bytes billed. No entanto, essa é apenas uma lista parcial. Para uma lista completa das métricas disponíveis, consulte métricas do BigQuery.
Filter project_id: código do projeto do Google Cloud.
dataset_id: código do conjunto de dados.
Group By dataset_id: código do conjunto de dados.
Aggregator sum
Period 1 m
Advanced Aggregation Aligner: mean
Campo do
painel Condições

Valor
Condition triggers if Any time series violates
Condition is above
Threshold Você determina o valor aceitável.
For 1 minute

A seguir

Para configurar um coletor, consulte Como exportar traces.