Gerar métricas do Gemini Code Assist com a geração de registros

Este documento descreve como gerar métricas do Gemini Code Assist. Por exemplo, é possível gerar métricas que informam o uso ativo diário ou a aceitação de recomendações de código para vários produtos do Google Cloud, incluindo o Cloud Logging, a Google Cloud CLI, o Cloud Monitoring e o BigQuery.

Antes de começar

Listar o número de usuários únicos

As instruções a seguir descrevem como usar a CLI gcloud para listar o número de usuários únicos do Gemini Code Assist no período de 28 dias mais recente:

  1. Em um ambiente shell, verifique se você atualizou todos os componentes instalados da CLI gcloud para a versão mais recente:

    gcloud components update

  2. Leia as entradas de registro para usuários e uso do Gemini Code Assist:

    gcloud logging read 'resource.type=cloudaicompanion.googleapis.com/Instance labels.product=~"code_assist"' \
--freshness 28d \
--project PROJECT_ID \
--format "csv(timestamp.date('%Y-%m-%d'),labels.user_id)"

    Substitua PROJECT_ID pelo ID do projeto do Google Cloud.

    Use o comando Unix uniq para identificar usuários de forma exclusiva por dia.

    O resultado será assim:

    2024-10-30,user1@company.com
2024-10-29,user2@company.com
2024-10-29,user2@company.com
2024-10-29,user2@company.com
2024-10-29,user1@company.com
2024-10-28,user1@company.com

Criar um gráfico que mostre o uso diário

As etapas a seguir mostram como usar o monitoramento para criar gráficos de uso diário que mostram o total agregado de usuários ativos diários do Gemini Code Assist e o número de solicitações deles por dia.

  1. Crie uma métrica de monitoramento com base nos dados de registro que registra o número de usuários do Gemini Code Assist:

    1. No console do Google Cloud, acesse a página Análise de registros:

      Acessar a Análise de registros

      Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

    2. No painel de consulta, insira a consulta a seguir e clique em Executar consulta:

       resource.type="cloudaicompanion.googleapis.com/Instance" AND labels.product="code_assist" AND jsonPayload.@type="type.googleapis.com/google.cloud.cloudaicompanion.logging.v1.ResponseLog"

    3. Na barra de ferramentas, clique em Ações e selecione Criar métrica.

      A caixa de diálogo Criar métrica com base em registros é exibida.

    4. Configure os seguintes detalhes da métrica:

      • Verifique se o Tipo de métrica está definido como Contador.
      • Nomeie a métrica como code_assist_example.

      • Verifique se a Seleção de filtro está definida para apontar para o local em que seus registros estão sendo armazenados, Project ou Bucket.

        Para informações sobre como gerar métricas de monitoramento com base nos dados de registro, consulte Visão geral das métricas com base em registros.

    5. Clique em Criar métrica.

      Um banner de sucesso é exibido, explicando que a métrica foi criada.

    6. No banner de sucesso, clique em Ver no Metrics Explorer.

      O Metrics Explorer é aberto e mostra um gráfico pré-configurado.

  2. Salve o gráfico em um painel:

    1. Na barra de ferramentas, clique em Salvar gráfico.
    2. Opcional: atualize o título do gráfico.
    3. Use o menu Painel para selecionar um painel personalizado atual ou criar um novo.
    4. Clique em Salvar gráfico.

Analisar o uso usando o BigQuery

As etapas a seguir mostram como usar o BigQuery para analisar seus dados de registro.

Há duas abordagens que podem ser usadas para analisar os dados de registro no BigQuery:

Com as duas abordagens, é possível usar o SQL para consultar e analisar os dados de registro e gráficos dos resultados dessas consultas. Se você usa o Log Analytics, é possível salvar seus gráficos em um painel personalizado. No entanto, há diferenças nos preços. Para mais detalhes, consulte Preços do Log Analytics e Preços do BigQuery.

Esta seção descreve como criar um coletor de registros para exportar entradas de registro selecionadas para o BigQuery e fornece uma lista de consultas de exemplo. Para saber mais sobre a Análise de registros, consulte Consultar e analisar registros com a Análise de registros e Consultar um conjunto de dados vinculado do BigQuery.

Crie um coletor de registros

  1. No Console do Google Cloud, acesse a página Roteador de registros:

    Acessar o roteador de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Selecione o projeto do Google Cloud em que as entradas de registro que você quer encaminhar se originam.
  3. Selecione Criar coletor.

  4. No painel Detalhes do coletor, insira os seguintes detalhes:

    • Em Nome do coletor, forneça um identificador para o coletor. Depois de criar o coletor, não será possível renomeá-lo, mas você poderá excluí-lo e criar um novo coletor.

    • Em Descrição do coletor, descreva a finalidade ou o caso de uso do coletor.

  5. No painel Destino do coletor, configure os seguintes detalhes:

    • Em Selecionar serviço de coletor, escolha o Conjunto de dados do BigQuery.
    • Em Selecionar conjunto de dados do BigQuery, crie um novo conjunto de dados do BigQuery e nomeie-o como code_assist_bq.

  6. Abra o painel Escolher registros para incluir no coletor e, no campo Criar filtro de inclusão, insira o seguinte:

    resource.type="cloudaicompanion.googleapis.com/Instance" AND labels.product="code_assist"

  7. Opcional: para verificar se você inseriu o filtro correto, selecione Visualizar registros. O Explorador de registros é aberto em uma nova guia com o filtro pré-preenchido.

  8. Clique em Criar coletor.

Autorizar o coletor de registros a gravar entradas de registro no conjunto de dados

Quando você tem acesso de proprietário ao conjunto de dados do BigQuery, o Cloud Logging concede ao coletor de registros as permissões necessárias para gravar dados de registro.

Se você não tiver acesso de proprietário ou não encontrar entradas no seu conjunto de dados, o coletor de registros pode não ter as permissões necessárias. Para resolver esse problema, siga as instruções em Definir permissões de destino.

Consultas

Use as consultas do BigQuery de exemplo a seguir para gerar dados no nível do usuário e agregados para uso ativo diário e sugestões geradas.

Antes de usar as consultas de exemplo a seguir, é necessário acessar o caminho totalmente qualificado para o coletor recém-criado. Para receber o caminho, faça o seguinte:

  1. No Console do Google Cloud, acesse a página BigQuery.

    Ir para o BigQuery

  2. Na lista de recursos, localize o conjunto de dados chamado code_assist_bq. Esses dados são o destino do coletor.

  3. Selecione a tabela de respostas abaixo do code_assist_bq_dataset, clique no ícone e em Copiar ID para gerar o ID do conjunto de dados. Anote-o para poder usá-lo nas seções a seguir como a variável GENERATED_BIGQUERY_TABLE.

Listar usuários individuais por dia

SELECT DISTINCT labels.user_id as user, DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
ORDER BY use_date

Substitua GENERATED_BIGQUERY_TABLE pelo caminho totalmente qualificado da tabela de resposta do BigQuery que você anotou nas etapas anteriores para criar um sink.

Listar usuários agregados por dia

SELECT COUNT(DISTINCT labels.user_id) as total_users, DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date
ORDER BY use_date

Listar solicitações individuais por dia por usuário

SELECT COUNT(*), DATE(timestamp) as use_date, labels.user_id as user
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date, user
ORDER BY use_date

Listar solicitações agregadas por dia e data

SELECT COUNT(*), DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date
ORDER BY use_date

A seguir