Nesta página, você encontra uma visão geral conceitual da exportação de dados de trace usando o Cloud Trace. Convém exportar dados de trace pelos seguintes motivos:
- Para armazenar dados de trace por um período maior do que o período de retenção padrão de 30 dias.
Para usar as ferramentas do BigQuery para analisar os dados de trace. Por exemplo, usando o BigQuery, é possível identificar contagens de períodos e quantis. Para informações sobre a consulta usada para gerar a tabela a seguir, veja Consulta do HipsterShop.
Como funcionam as exportações
A exportação envolve a criação de um coletor para um projeto do Google Cloud. Um coletor define um conjunto de dados do BigQuery como o destino.
É possível criar um coletor usando a API Cloud Trace ou a CLI do Google Cloud.
Propriedades e terminologia de coletores
Os coletores são definidos para um projeto do Google Cloud e têm as seguintes propriedades:
Nome: um nome para o coletor. Por exemplo, um nome pode ser:
"projects/PROJECT_NUMBER/traceSinks/my-sink"
em que
PROJECT_NUMBER
é o número do projeto do Google Cloud do coletor emy-sink
é o identificador do coletor.Pai: o recurso em que você cria o coletor. O pai precisa ser um projeto do Google Cloud:
"projects/PROJECT_ID"
O
PROJECT_ID
pode ser um identificador ou número de projeto do Google Cloud.Destino: um único lugar para enviar períodos de trace. O Trace é compatível com a exportação de traces para o BigQuery. O destino pode ser o projeto do Google Cloud do coletor ou qualquer outro projeto do Google Cloud que esteja na mesma organização.
Por exemplo, um destino válido é:
bigquery.googleapis.com/projects/DESTINATION_PROJECT_NUMBER/datasets/DATASET_ID
em que
DESTINATION_PROJECT_NUMBER
é o número do projeto do Google Cloud do destino eDATASET_ID
é o identificador do conjunto de dados do BigQuery.Identidade do gravador: um nome da conta de serviço. O proprietário do destino de exportação precisa conceder a essa conta de serviço permissões para gravar no destino de exportação. Ao exportar traces, o Trace adota essa identidade para autorização. Para aumentar a segurança, novos coletores recebem uma conta de serviço exclusiva:
export-PROJECT_NUMBER-GENERATED_VALUE@gcp-sa-cloud-trace.iam.gserviceaccount.com
em que
PROJECT_NUMBER
é o número do projeto do Google Cloud, em hexadecimal, eGENERATED_VALUE
é um valor gerado aleatoriamente.Você não cria, não é proprietário nem gerencia a conta de serviço identificada pela identidade de gravador de um coletor. Ao criar um coletor, O Trace cria a conta de serviço necessária para o coletor. Essa conta de serviço não será incluída na lista de contas de serviço do seu projeto até que tenha pelo menos uma vinculação de gerenciamento de identidade e acesso. Adicione essa vinculação ao configurar um destino de sink.
Para informações sobre como usar a identidade do gravador, consulte as permissões de destino.
Como funcionam os coletores
Sempre que um período de trace chega a um projeto, o Trace exporta uma cópia do período.
Os traces recebidos antes da criação do coletor não podem ser exportados.
Controle de acesso
Para criar ou modificar um coletor, você precisa ter um dos seguintes papéis de gerenciamento de identidade e acesso:
- Administrador do Trace
- Usuário do Trace
- Proprietário do projeto
- Editor do projeto
Para mais informações, consulte Controle de acesso.
Para exportar traces para um destino, a conta de serviço do gravador do coletor precisa ter permissão para gravar no destino. Para mais informações sobre identidades de gravador, consulte Propriedades do coletor nesta página.
Cotas e limites
O Cloud Trace utiliza a API de streaming do BigQuery para enviar períodos de trace para o destino. O Cloud Trace agrupa chamadas de API. O Cloud Trace não implementa um mecanismo de repetição ou limitação. Períodos de trace podem não ser exportados se a quantidade de dados exceder as cotas de destino.
Para detalhes sobre cotas e limites do BigQuery, consulte Cotas e limites.
Preço
A exportação de traces não gera cobranças do Cloud Trace. No entanto, você pode ter cobranças do BigQuery. Consulte Preços do BigQuery para mais informações.
Como estimar seus custos
O BigQuery cobra pela ingestão e armazenamento de dados. Para estimar os custos mensais do BigQuery, faça o seguinte:
Estime o número total de períodos de trace ingeridos em um mês.
Para informações sobre como consultar o uso, consulte Visualizar o uso por conta de faturamento.
Estime os requisitos de streaming com base no número de períodos de trace ingeridos.
Cada período é gravado em uma linha da tabela. Cada linha no BigQuery requer pelo menos 1.024 bytes. Portanto, um limite inferior nos requisitos de streaming do BigQuery é atribuir 1.024 bytes a cada período. Por exemplo, se o projeto do Google Cloud ingeriu 200 períodos, esses períodos exigem pelo menos 20.400 bytes para a inserção de streaming.
Use a calculadora de preços para estimar os custos do BigQuery referentes a armazenamento, inserções de streaming e consultas.
Como visualizar e gerenciar o uso do BigQuery
Você pode usar o Metrics Explorer para ver o uso do BigQuery. Você também pode criar uma política de alertas que notifique se o uso do BigQuery exceder os limites predefinidos. A tabela a seguir contém as configurações para criar uma política de alertas. Use as configurações na tabela do painel de destino quando criar um gráfico ou usar o Metrics Explorer.
Para criar uma política de alertas que é acionada quando as métricas do BigQuery ingeridas ultrapassam um nível definido pelo usuário, use as seguintes configurações.
Novo estado Campo |
Valor |
---|---|
Recurso e métrica | No menu Recursos, selecione Conjunto de dados do BigQuery. No menu Categorias de métrica, selecione Armazenamento. Selecione uma métrica no menu Métricas. As métricas específicas do uso incluem Stored bytes , Uploaded bytes .
e Uploaded bytes billed . Para uma lista completa das métricas disponíveis, consulte
Métricas do BigQuery.
|
Filtrar | project_id: código do projeto do Google Cloud. dataset_id: código do conjunto de dados. |
Séries cruzadas Série temporal agrupada por |
dataset_id: código do conjunto de dados. |
Várias séries Agregação de série temporal |
sum |
Janela contínua | 1 m |
Função de janela contínua | mean |
Campo Configurar gatilho de alerta |
Valor |
---|---|
Tipo de condição | Threshold |
Acionador de alerta | Any time series violates |
Posição do limite | Above threshold |
Valor do limite | Você determina o valor aceitável. |
Teste a janela novamente | 1 minute |
A seguir
Para configurar um coletor, consulte Como exportar traces.