Criar métricas definidas pelo usuário com o OpenCensus

O OpenCensus é um projeto de código aberto gratuito que bibliotecas:

  • Oferecer suporte independente de fornecedores para a coleta de dados de métricas e rastreamento em vários idiomas.
  • Pode exportar os dados coletados para vários aplicativos de back-end, incluindo Cloud Monitoring com exportadores.

Ainda que o Cloud Monitoring forneça uma API que oferece suporte à definição e coleta métricas definidas pelo usuário, é uma API reservada de baixo nível. O OpenCensus fornece uma API que segue o estilo da do idioma oficial, junto com um exportador que envia seus dados de métricas para o Cloud Monitoring com a API Monitoring para você.

O OpenCensus também tem um bom suporte para o rastreamento de aplicativos. Veja OpenCensus Tracing (em inglês) para ter uma visão geral. O Cloud Trace recomenda o uso do OpenCensus para instrumentação de rastreamento. Para coletar dados de métricas e traces dos seus serviços, é possível usar uma única distribuição de bibliotecas. Para informações sobre como usar o OpenCensus com Cloud Trace, consulte Bibliotecas de cliente para o Trace.

Antes de começar

Para usar o Cloud Monitoring, você precisa ter um projeto do Google Cloud com faturamento ativado. Se necessário, faça o seguinte:

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Verifique se a API Monitoring está ativada. Para ver detalhes, leia Como ativar a API Monitoring.

  4. Para aplicativos executados fora do Google Cloud, os O projeto do Google Cloud precisa autenticar seu aplicativo. Normalmente, você configura a autenticação criando uma conta de serviço para o projeto e uma variável de ambiente.

    Para informações sobre como criar uma conta de serviço, consulte Primeiros passos na autenticação.

Instale o OpenCensus

Para usar as métricas coletadas pelo OpenCensus no seu projeto do Google Cloud, você precisa disponibilizar as bibliotecas de métricas do OpenCensus e o exportador do Stackdriver ao aplicativo. O exportador do Stackdriver exporta as métricas que O OpenCensus coleta seu projeto do Google Cloud. Em seguida, você pode usar Cloud Monitoring para criar gráficos ou monitorar essas métricas.

Go

Para autenticar no Monitoring, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

Para usar o OpenCensus, é necessário ter o Go versão 1.11 ou mais recente. As dependências são tratadas automaticamente para você.

Java

Para autenticar no Monitoring, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

Para o Maven, adicione o seguinte ao elemento dependencies na sua Arquivo pom.xml: 
<dependency>
  <groupId>io.opencensus</groupId>
  <artifactId>opencensus-api</artifactId>
  <version>${opencensus.version}</version>
</dependency>
<dependency>
  <groupId>io.opencensus</groupId>
  <artifactId>opencensus-exporter-stats-stackdriver</artifactId>
  <version>${opencensus.version}</version>
</dependency>

Node.js

Para autenticar no Monitoring, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

  1. Antes de instalar as bibliotecas do núcleo e do exportador do OpenCensus, prepare seu ambiente para o desenvolvimento do Node.js.
  2. A maneira mais fácil de instalar o OpenCensus é com o NPM:
    npm install @opencensus/core
npm install @opencensus/exporter-stackdriver
  3. Coloque as instruções require mostradas abaixo na parte superior do script principal ou do ponto de entrada do seu aplicativo, antes de qualquer outro código:
const {globalStats, MeasureUnit, AggregationType} = require('@opencensus/core');
const {StackdriverStatsExporter} = require('@opencensus/exporter-stackdriver');

Python

Para autenticar no Monitoring, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

Instale o núcleo do OpenCensus e as bibliotecas do exportador do Stackdriver usando o seguinte comando:

pip install -r opencensus/requirements.txt

O arquivo requirements.txt está no repositório do GitHub para essas amostras. python-docs-samples

Gravar métricas definidas pelo usuário com o OpenCensus

A instrumentação do seu código para usar o OpenCensus para métricas envolve três etapas:

  1. Importe as estatísticas do OpenCensus e os pacotes de exportador do OpenCensus Stackdriver.
  2. Inicialize o exportador do Stackdriver.
  3. Use a API OpenCensus para instrumentar seu código.

O exemplo a seguir é um programa mínimo que grava dados de métricas usando o OpenCensus. O programa executa um loop e coleta medidas de latência e quando o loop terminar, ele exporta as estatísticas para o Cloud Monitoring e sai:

Go

Para autenticar no Monitoring, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local. 


// metrics_quickstart is an example of exporting a custom metric from
// OpenCensus to Stackdriver.
package main

import (
	"context"
	"fmt"
	"log"
	"time"

	"contrib.go.opencensus.io/exporter/stackdriver"
	"go.opencensus.io/stats"
	"go.opencensus.io/stats/view"
	"golang.org/x/exp/rand"
)

var (
	// The task latency in milliseconds.
	latencyMs = stats.Float64("task_latency", "The task latency in milliseconds", "ms")
)

func main() {
	ctx := context.Background()

	// Register the view. It is imperative that this step exists,
	// otherwise recorded metrics will be dropped and never exported.
	v := &view.View{
		Name:        "task_latency_distribution",
		Measure:     latencyMs,
		Description: "The distribution of the task latencies",

		// Latency in buckets:
		// [>=0ms, >=100ms, >=200ms, >=400ms, >=1s, >=2s, >=4s]
		Aggregation: view.Distribution(0, 100, 200, 400, 1000, 2000, 4000),
	}
	if err := view.Register(v); err != nil {
		log.Fatalf("Failed to register the view: %v", err)
	}

	// Enable OpenCensus exporters to export metrics
	// to Stackdriver Monitoring.
	// Exporters use Application Default Credentials to authenticate.
	// See https://developers.google.com/identity/protocols/application-default-credentials
	// for more details.
	exporter, err := stackdriver.NewExporter(stackdriver.Options{})
	if err != nil {
		log.Fatal(err)
	}
	// Flush must be called before main() exits to ensure metrics are recorded.
	defer exporter.Flush()

	if err := exporter.StartMetricsExporter(); err != nil {
		log.Fatalf("Error starting metric exporter: %v", err)
	}
	defer exporter.StopMetricsExporter()

	// Record 100 fake latency values between 0 and 5 seconds.
	for i := 0; i < 100; i++ {
		ms := float64(5*time.Second/time.Millisecond) * rand.Float64()
		fmt.Printf("Latency %d: %f\n", i, ms)
		stats.Record(ctx, latencyMs.M(ms))
		time.Sleep(1 * time.Second)
	}

	fmt.Println("Done recording metrics")
}

Java

Para autenticar no Monitoring, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local. 


import com.google.common.collect.Lists;
import io.opencensus.exporter.stats.stackdriver.StackdriverStatsExporter;
import io.opencensus.stats.Aggregation;
import io.opencensus.stats.BucketBoundaries;
import io.opencensus.stats.Measure.MeasureLong;
import io.opencensus.stats.Stats;
import io.opencensus.stats.StatsRecorder;
import io.opencensus.stats.View;
import io.opencensus.stats.View.Name;
import io.opencensus.stats.ViewManager;
import java.io.IOException;
import java.util.Collections;
import java.util.Random;
import java.util.concurrent.TimeUnit;

public class Quickstart {
  private static final int EXPORT_INTERVAL = 70;
  private static final MeasureLong LATENCY_MS =
      MeasureLong.create("task_latency", "The task latency in milliseconds", "ms");
  // Latency in buckets:
  // [>=0ms, >=100ms, >=200ms, >=400ms, >=1s, >=2s, >=4s]
  private static final BucketBoundaries LATENCY_BOUNDARIES =
      BucketBoundaries.create(Lists.newArrayList(0d, 100d, 200d, 400d, 1000d, 2000d, 4000d));
  private static final StatsRecorder STATS_RECORDER = Stats.getStatsRecorder();

  public static void main(String[] args) throws IOException, InterruptedException {
    // Register the view. It is imperative that this step exists,
    // otherwise recorded metrics will be dropped and never exported.
    View view =
        View.create(
            Name.create("task_latency_distribution"),
            "The distribution of the task latencies.",
            LATENCY_MS,
            Aggregation.Distribution.create(LATENCY_BOUNDARIES),
            Collections.emptyList());

    ViewManager viewManager = Stats.getViewManager();
    viewManager.registerView(view);

    // Enable OpenCensus exporters to export metrics to Stackdriver Monitoring.
    // Exporters use Application Default Credentials to authenticate.
    // See https://developers.google.com/identity/protocols/application-default-credentials
    // for more details.
    StackdriverStatsExporter.createAndRegister();

    // Record 100 fake latency values between 0 and 5 seconds.
    Random rand = new Random();
    for (int i = 0; i < 100; i++) {
      long ms = (long) (TimeUnit.MILLISECONDS.convert(5, TimeUnit.SECONDS) * rand.nextDouble());
      System.out.println(String.format("Latency %d: %d", i, ms));
      STATS_RECORDER.newMeasureMap().put(LATENCY_MS, ms).record();
    }

    // The default export interval is 60 seconds. The thread with the StackdriverStatsExporter must
    // live for at least the interval past any metrics that must be collected, or some risk being
    // lost if they are recorded after the last export.

    System.out.println(
        String.format(
            "Sleeping %d seconds before shutdown to ensure all records are flushed.",
            EXPORT_INTERVAL));
    Thread.sleep(TimeUnit.MILLISECONDS.convert(EXPORT_INTERVAL, TimeUnit.SECONDS));
  }
}

Node.js

Para autenticar no Monitoring, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local. 

'use strict';

const {globalStats, MeasureUnit, AggregationType} = require('@opencensus/core');
const {StackdriverStatsExporter} = require('@opencensus/exporter-stackdriver');

const EXPORT_INTERVAL = process.env.EXPORT_INTERVAL || 60;
const LATENCY_MS = globalStats.createMeasureInt64(
  'task_latency',
  MeasureUnit.MS,
  'The task latency in milliseconds'
);

// Register the view. It is imperative that this step exists,
// otherwise recorded metrics will be dropped and never exported.
const view = globalStats.createView(
  'task_latency_distribution',
  LATENCY_MS,
  AggregationType.DISTRIBUTION,
  [],
  'The distribution of the task latencies.',
  // Latency in buckets:
  // [>=0ms, >=100ms, >=200ms, >=400ms, >=1s, >=2s, >=4s]
  [0, 100, 200, 400, 1000, 2000, 4000]
);

// Then finally register the views
globalStats.registerView(view);

// Enable OpenCensus exporters to export metrics to Stackdriver Monitoring.
// Exporters use Application Default Credentials (ADCs) to authenticate.
// See https://developers.google.com/identity/protocols/application-default-credentials
// for more details.
// Expects ADCs to be provided through the environment as ${GOOGLE_APPLICATION_CREDENTIALS}
// A Stackdriver workspace is required and provided through the environment as ${GOOGLE_PROJECT_ID}
const projectId = process.env.GOOGLE_PROJECT_ID;

// GOOGLE_APPLICATION_CREDENTIALS are expected by a dependency of this code
// Not this code itself. Checking for existence here but not retaining (as not needed)
if (!projectId || !process.env.GOOGLE_APPLICATION_CREDENTIALS) {
  throw Error('Unable to proceed without a Project ID');
}

// The minimum reporting period for Stackdriver is 1 minute.
const exporter = new StackdriverStatsExporter({
  projectId: projectId,
  period: EXPORT_INTERVAL * 1000,
});

// Pass the created exporter to Stats
globalStats.registerExporter(exporter);

// Record 100 fake latency values between 0 and 5 seconds.
for (let i = 0; i < 100; i++) {
  const ms = Math.floor(Math.random() * 5);
  console.log(`Latency ${i}: ${ms}`);
  globalStats.record([
    {
      measure: LATENCY_MS,
      value: ms,
    },
  ]);
}

/**
 * The default export interval is 60 seconds. The thread with the
 * StackdriverStatsExporter must live for at least the interval past any
 * metrics that must be collected, or some risk being lost if they are recorded
 * after the last export.
 */
setTimeout(() => {
  console.log('Done recording metrics.');
  globalStats.unregisterExporter(exporter);
}, EXPORT_INTERVAL * 1000);

Python

Para autenticar no Monitoring, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local. 


from random import random
import time

from opencensus.ext.stackdriver import stats_exporter
from opencensus.stats import aggregation
from opencensus.stats import measure
from opencensus.stats import stats
from opencensus.stats import view


# A measure that represents task latency in ms.
LATENCY_MS = measure.MeasureFloat(
    "task_latency", "The task latency in milliseconds", "ms"
)

# A view of the task latency measure that aggregates measurements according to
# a histogram with predefined bucket boundaries. This aggregate is periodically
# exported to Stackdriver Monitoring.
LATENCY_VIEW = view.View(
    "task_latency_distribution",
    "The distribution of the task latencies",
    [],
    LATENCY_MS,
    # Latency in buckets: [>=0ms, >=100ms, >=200ms, >=400ms, >=1s, >=2s, >=4s]
    aggregation.DistributionAggregation([100.0, 200.0, 400.0, 1000.0, 2000.0, 4000.0]),
)


def main():
    # Register the view. Measurements are only aggregated and exported if
    # they're associated with a registered view.
    stats.stats.view_manager.register_view(LATENCY_VIEW)

    # Create the Stackdriver stats exporter and start exporting metrics in the
    # background, once every 60 seconds by default.
    exporter = stats_exporter.new_stats_exporter()
    print('Exporting stats to project "{}"'.format(exporter.options.project_id))

    # Register exporter to the view manager.
    stats.stats.view_manager.register_exporter(exporter)

    # Record 100 fake latency values between 0 and 5 seconds.
    for num in range(100):
        ms = random() * 5 * 1000

        mmap = stats.stats.stats_recorder.new_measurement_map()
        mmap.measure_float_put(LATENCY_MS, ms)
        mmap.record()

        print(f"Fake latency recorded ({num}: {ms})")

    # Keep the thread alive long enough for the exporter to export at least
    # once.
    time.sleep(65)


if __name__ == "__main__":
    main()
Quando esses dados de métricas são exportados para o Cloud Monitoring, você pode usá-los como qualquer outro dado.

O programa cria uma visualização do OpenCensus chamado task_latency_distribution. Essa string se torna parte do do elemento quando ela é exportada para o Cloud Monitoring. Consulte Como recuperar descritores de métrica para ver como a visualização do OpenCensus é notada como um descritor de métrica do Cloud Monitoring. Portanto, use o nome da visualização como uma string de pesquisa ao selecionar uma métrica para o gráfico.

Se você executou o programa de amostra, poderá usar o Metrics Explorer para analisem seus dados:

  1. No Console do Google Cloud, acesse a página do  Metrics Explorer:

    Acesse o Metrics explorer

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoramento.

  2. No elemento Metric, expanda o menu Selecionar uma métrica, digite OpenCensus/task_latency_distribution na barra de filtro e use os submenus para selecionar um tipo de recurso e métrica específicos:
    1. No menu Recursos ativos, selecione o recurso monitorado. Se você executar o programa em um ambiente local, e selecione Global.
    2. No menu Categorias de métricas ativas, selecione Personalizado.
    3. No menu Métricas ativas, selecione Distribuição de latência da tarefa.
    4. Clique em Aplicar.

A captura de tela a seguir mostra a série temporal coletada depois de executar o programa em um ambiente local:

Métricas do OpenCensus no Cloud Monitoring.

Cada barra no mapa de calor representa uma execução do programa, e os componentes coloridos de cada barra representam os buckets na distribuição de latência.

Ler métricas do OpenCensus no Cloud Monitoring

Você vai usar métricas definidas pelo usuário, incluindo aquelas gravadas pelo OpenCensus, métricas integradas. Você pode criar gráficos, definir alertas, ler e monitorá-los.

Esta seção mostra como usar o APIs Explorer para ler dados de métricas. Para mais informações sobre como ler dados de métricas usando a API Cloud Monitoring ou usando bibliotecas de cliente, consulte os seguintes documentos:

Por exemplo, a captura de tela mostrada na seção anterior do Metrics Explorer. Ao usar ferramentas de gráficos, recomendamos que você use o nome da visualização do OpenCensus para filtrar a lista de métricas. Para mais informações, consulte Selecione métricas ao usar o Metrics Explorer.

Recuperar descritores de métrica

Para recuperar os dados da métrica usando diretamente a API Monitoring, faça o seguinte: você precisa saber os nomes do Cloud Monitoring para o qual as métricas do OpenCensus foram exportadas. Você pode determinar esses nomes recuperando os descritores de métrica criados pelo exportador e, olhando para o campo type. Para ver mais detalhes sobre os descritores de métrica, consulte MetricDescriptor.

Para ver os descritores de métrica criados para as métricas exportadas, faça o seguinte:

  1. Acesse a página de referência de metricDescriptors.list.

  2. No widget Testar esta API da página de referência, faça o seguinte: :

    1. Digite o nome do seu projeto no campo name. Use o abaixo da estrutura de nome projects/PROJECT_ID. Este documento usa um projeto com o ID a-gcp-project.

    2. Insira um filtro no campo filter. Há várias métricas descritores em um projeto. A filtragem permite eliminar essas descritores que não são interessantes.

      Por exemplo, como o nome da visualização do OpenCensus se torna parte nome da métrica, você pode adicionar um filtro como este:

      metric.type=has_substring("task_latency_distribution")

      A chave metric.type é um campo em um tipo incorporado em uma série temporal. Consulte TimeSeries para ver detalhes.

    3. Clique em Executar.

O exemplo seguinte mostra o descritor de métrica retornado:

    {
      "metricDescriptors": [
        {
          "name": "projects/a-gcp-project/metricDescriptors/custom.googleapis.com/opencensus/task_latency_distribution",
          "labels": [
            {
              "key": "opencensus_task",
              "description": "Opencensus task identifier"
            }
          ],
          "metricKind": "CUMULATIVE",
          "valueType": "DISTRIBUTION",
          "unit": "ms",
          "description": "The distribution of the task latencies",
          "displayName": "OpenCensus/task_latency_distribution",
          "type": "custom.googleapis.com/opencensus/task_latency_distribution"
        }
      ]
    }

Essa linha no descritor de métrica informa o nome do tipo de métrica no Cloud Monitoring:

    "type": "custom.googleapis.com/opencensus/task_latency_distribution"

Agora você tem as informações necessárias para recuperar os dados manualmente associadas ao tipo de métrica. O valor do campo type também é mostrado no console do Google Cloud ao criar um gráfico com a métrica.

Recuperar dados de métricas

Para recuperar manualmente os dados de série temporal de um tipo de métrica, faça o seguinte:

  1. Acesse a página de referência do timeSeries.list.

  2. No widget Testar esta API da página de referência, faça o seguinte: :

    1. Digite o nome do seu projeto no campo name. Use o abaixo da estrutura de nome projects/PROJECT_ID.

    2. No campo filter, digite o seguinte valor:

      metric.type="custom.googleapis.com/opencensus/task_latency_distribution"

    3. Insira valores para os campos interval.startTime e interval.endTime. Esses valores precisam ser inseridos como um carimbo de data/hora, por exemplo 2018-10-11T15:48:38-04:00: Verifique se o valor startTime é anterior do que o valor endTime.

    4. Clique em Execute.

A seguir, é mostrado o resultado de uma dessas recuperações:

    {
      "timeSeries": [
        {
          "metric": {
            "labels": {
              "opencensus_task": "java-3424@docbuild"
            },
            "type": "custom.googleapis.com/opencensus/task_latency_distribution"
          },
          "resource": {
            "type": "gce_instance",
            "labels": {
              "instance_id": "2455918024984027105",
              "zone": "us-east1-b",
              "project_id": "a-gcp-project"
            }
          },
          "metricKind": "CUMULATIVE",
          "valueType": "DISTRIBUTION",
          "points": [
            {
              "interval": {
                "startTime": "2019-04-04T17:49:34.163Z",
                "endTime": "2019-04-04T17:50:42.917Z"
              },
              "value": {
                "distributionValue": {
                  "count": "100",
                  "mean": 2610.11,
                  "sumOfSquaredDeviation": 206029821.78999996,
                  "bucketOptions": {
                    "explicitBuckets": {
                      "bounds": [
                        0,
                        100,
                        200,
                        400,
                        1000,
                        2000,
                        4000
                      ]
                    }
                  },
                  "bucketCounts": [
                    "0",
                    "0",
                    "1",
                    "6",
                    "13",
                    "15",
                    "44",
                    "21"
                  ]
                }
              }
            }
          ]
        },
        [ ... data from additional program runs deleted ...]
      ]
    }

Os dados da métrica retornados incluem o seguinte:

  • informações sobre o recurso monitorado do qual os dados foram coletados. O OpenCensus detecta automaticamente os recursos monitorados gce_instance, k8s_container e aws_ec2_instance. Esses dados são provenientes de um programa executado em uma instância do Compute Engine. Para ver informações sobre como usar outros recursos monitorados, leia Set monitored resource for exporter (em inglês);
  • a descrição do tipo de métrica e o tipo dos valores;
  • os pontos de dados reais coletados no intervalo de tempo solicitado.

Como o Monitoring representa as métricas do OpenCensus

É possível usar diretamente a API Cloud Monitoring para métricas definidas pelo usuário. como usá-lo é descrita em Criar métricas definidas pelo usuário com a API. Na verdade, o exportador do OpenCensus para o Cloud Monitoring usa essa API. Nesta seção, apresentamos algumas informações sobre como o Cloud Monitoring representa as métricas escritas pelo OpenCensus.

As construções usadas pela API OpenCensus diferem das construções usadas por Cloud Monitoring, assim como parte da terminologia. Enquanto o Cloud Monitoring se refere a “métricas”, o OpenCensus às vezes se refere a “estatísticas”. Por exemplo, o componente do OpenCensus que envia dados de métrica para o Cloud Monitoring é chamado “exportador de estatísticas do Stackdriver”.

Para ter uma visão geral do modelo do OpenCensus para métricas, consulte Métricas do OpenCensus (em inglês).

Os modelos de dados para as estatísticas do OpenCensus e as métricas do Cloud Monitoring não se enquadram em um mapeamento 1:1 puro. Muitos dos mesmos conceitos existem em cada um deles, mas não são diretamente intercambiáveis.

  • Uma visualização do OpenCensus é análoga à MetricDescriptor na API Monitoring. Uma visualização descreve como coletar e agregar medições individuais. Tags estão incluídas em todas as medições registradas.

  • Uma tag do OpenCensus é um par de chave-valor. Uma tag do OpenCensus corresponde geralmente para LabelDescriptor na API Monitoring. As tags permitem capturar informações contextuais que podem ser usadas para filtrar e agrupar métricas.

  • Uma medida do OpenCensus descreve os dados da métrica a serem registrados. Uma agregação do OpenCensus é uma função aplicada aos dados usados para resumi-los. Essas funções são usadas na exportação para determinar MetricKind, ValueType e a unidade no descritor de métrica do Cloud Monitoring.

  • Uma medição do OpenCensus é um ponto de dados coletado. As medições precisam ser agregadas em visualizações. Caso contrário, as medições individuais serão descartadas. Uma medição do OpenCensus é análoga a uma Point na API Monitoring. Quando as medidas são agregadas nas visualizações, os dados agregados são armazenados como dados de exibição, de maneira análoga a um TimeSeries na API Monitoring.

A seguir