Esta página oferece uma vista geral conceptual da exportação de dados de rastreio com o Cloud Trace. Pode querer exportar dados de rastreio pelos seguintes motivos:
- Para armazenar dados de rastreio durante um período superior ao período de retenção predefinido de 30 dias.
Para lhe permitir usar as ferramentas do BigQuery para analisar os dados de rastreio. Por exemplo, com o BigQuery, pode identificar contagens de intervalos e quantis. Para ver informações sobre a consulta usada para gerar a tabela seguinte, consulte Consulta HipsterShop.
Como funcionam as exportações
A exportação envolve a criação de um destino para um Google Cloud projeto. Um destino define um conjunto de dados do BigQuery como o destino.
Pode criar um destino através da API Cloud Trace ou da CLI Google Cloud.
Propriedades e terminologia de destino
Os destinos são definidos para um Google Cloud projeto e têm as seguintes propriedades:
Nome: um nome para o destino. Por exemplo, um nome pode ser:
"projects/PROJECT_NUMBER/traceSinks/my-sink"
onde
PROJECT_NUMBER
é o número do projeto Google Cloud do destino emy-sink
é o identificador do destino.Principal: o recurso no qual cria o destino. O elemento principal tem de ser um Google Cloud projeto:
"projects/PROJECT_ID"
O
PROJECT_ID
pode ser um Google Cloud identificador do projeto ou um número.Destino: um único local para enviar intervalos de rastreio. O Trace suporta a exportação de rastreios para o BigQuery. O destino pode ser o projeto Google Cloud do receptor ou qualquer outro Google Cloud projeto que esteja na mesma organização.
Por exemplo, um destino válido é:
bigquery.googleapis.com/projects/DESTINATION_PROJECT_NUMBER/datasets/DATASET_ID
onde
DESTINATION_PROJECT_NUMBER
é o Google Cloud número do projeto de destino eDATASET_ID
é o identificador do conjunto de dados do BigQuery.Identidade do escritor: um nome de conta de serviço. O proprietário do destino de exportação tem de conceder autorizações a esta conta de serviço para escrever no destino de exportação. Quando exporta rastreios, o Trace adota esta identidade para autorização. Para maior segurança, os novos destinos recebem uma conta de serviço exclusiva:
export-PROJECT_NUMBER-GENERATED_VALUE@gcp-sa-cloud-trace.iam.gserviceaccount.com
onde
PROJECT_NUMBER
é o número do seu projeto Google Cloud , em hexadecimal, eGENERATED_VALUE
é um valor gerado aleatoriamente.Não cria, não é proprietário nem gere a conta de serviço identificada pela identidade do autor de um destino. Quando cria um destino, o Trace cria a conta de serviço que o destino requer. Esta conta de serviço não está incluída na lista de contas de serviço do seu projeto até ter, pelo menos, uma associação de gestão de identidade e de acesso. Adiciona esta associação quando configura um destino de sincronização.
Para obter informações sobre a utilização da identidade do escritor, consulte as autorizações de destino.
Como funcionam os ralos
Sempre que um intervalo de rastreio chega a um projeto, o Trace exporta uma cópia do intervalo.
Os rastreios que o Trace recebeu antes da criação do destino não podem ser exportados.
Controlo de acesso
Para criar ou modificar um destino, tem de ter uma das seguintes funções de gestão de identidade e acesso:
- Administrador de rastreio
- Rastrear utilizador
- Proprietário do projeto
- Editor de projeto
Para mais informações, consulte o artigo Controlo de acesso.
Para exportar rastreios para um destino, a conta de serviço do escritor do coletor tem de ter autorização para escrever no destino. Para mais informações sobre as identidades dos autores, consulte a secção Propriedades de destino nesta página.
Quotas e limites
O Cloud Trace usa a API BigQuery Streaming para enviar intervalos de rastreio para o destino. O Cloud Trace processa as chamadas de API em lote. O Cloud Trace não implementa um mecanismo de repetição nem de limitação. Os intervalos de rastreio podem não ser exportados com êxito se a quantidade de dados exceder as quotas de destino.
Para ver detalhes sobre as quotas e os limites do BigQuery, consulte o artigo Quotas e limites.
Preços
A exportação de rastreios não incorre em custos do Cloud Trace. No entanto, pode incorrer em custos do BigQuery. Consulte os preços do BigQuery para mais informações.
Estimativa dos custos
O BigQuery cobra pelo carregamento e armazenamento de dados. Para estimar os custos mensais do BigQuery, faça o seguinte:
Estime o número total de intervalos de rastreio que são carregados num mês.
Para ver informações sobre como ver a utilização, consulte o artigo Veja a utilização por conta de faturação.
Estime os requisitos de streaming com base no número de intervalos de rastreio carregados.
Cada intervalo é escrito numa linha da tabela. Cada linha no BigQuery requer, pelo menos, 1024 bytes. Por conseguinte, um limite inferior nos seus requisitos de streaming do BigQuery é atribuir 1024 bytes a cada intervalo. Por exemplo, se o seu Google Cloud projeto tiver carregado 200 extensões, essas extensões requerem, pelo menos, 20 400 bytes para a inserção de streaming.
Use a calculadora de preços para estimar os seus custos do BigQuery devido ao armazenamento, às inserções por stream e às consultas.
Ver e gerir a sua utilização do BigQuery
Pode usar o Explorador de métricas para ver a sua utilização do BigQuery. Também pode criar uma política de alerta que lhe envia uma notificação se a sua utilização do BigQuery exceder os limites predefinidos. A tabela seguinte contém as definições para criar uma política de alerta. Pode usar as definições na tabela do painel de destino quando cria um gráfico ou quando usa o Explorador de métricas.
Para criar uma política de alerta que é acionada quando as métricas do BigQuery excedem um nível definido pelo utilizador, use as seguintes definições.
Nova condição Campo |
Valor |
---|---|
Recurso e métrica | No menu Recursos, selecione Conjunto de dados do BigQuery. No menu Categorias de métricas, selecione Armazenamento. Selecione uma métrica no menu Métricas. As métricas específicas da utilização incluem Stored bytes , Uploaded bytes
e Uploaded bytes billed . Para ver uma lista completa das métricas disponíveis, consulte as
métricas do BigQuery.
|
Filtro | project_id: o seu Google Cloud ID do projeto. dataset_id: o ID do seu conjunto de dados. |
Em intervalos temporais Agrupamento de intervalos temporais |
dataset_id: o ID do seu conjunto de dados. |
Em intervalos temporais Agregação de intervalos temporais |
sum |
Janela de rolagem | 1 m |
Função de período contínuo | mean |
Configure o acionador de alerta Campo |
Valor |
---|---|
Tipo de condição | Threshold |
Acionador de alertas | Any time series violates |
Posição do limite | Above threshold |
Valor do limite | Determina o valor aceitável. |
Período de novo teste | 1 minute |
O que se segue?
Para configurar um destino, consulte o artigo Exportar rastreios.