Configurar coletores

Este documento explica como criar e gerenciar coletores para rotear entradas de registro usando o Console do Cloud, a API Cloud Logging e a ferramenta de linha de comando gcloud.

Em resumo, você roteia registros criando um ou mais coletores que incluem uma expressão de filtro e um destino. Conforme o Logging recebe novas entradas de registro, elas são comparadas com cada coletor. Se uma entrada de registro corresponder ao filtro de um coletor, uma cópia da entrada de registro será gravada no destino do coletor. Para uma visão geral conceitual mais ampla sobre coletores, consulte Visão geral de roteamento e armazenamento: coletores.

Usando o Console do Cloud, você pode:

  • Visualize e gerencie todos os seus coletores em um só lugar.
  • Visualize quais entradas de registro correspondem ao filtro do coletor antes de criá-lo.
  • Crie e autorize destinos de coletor para seus coletores.

No entanto, o Console do Cloud só pode criar ou visualizar coletores em projetos do Cloud. Para criar coletores em organizações, pastas ou contas de faturamento usando a ferramenta de linha de comando gcloud ou a API Cloud Logging, consulte Coletores agregados.

Destinos possíveis

É possível rotear registros no mesmo projeto do Cloud ou entre projetos do Cloud para os seguintes destinos:

  • Cloud Storage: arquivos JSON armazenados em buckets do Cloud Storage.
  • Pub/Sub: mensagens JSON entregues aos tópicos do Pub/Sub. Compatível com integrações de terceiros, como o Splunk, com o Logging.
  • BigQuery: tabelas criadas em conjuntos de dados do BigQuery.
  • Outro bucket do Cloud Logging: entradas de registro retidas nos buckets de registro do Cloud Logging.

Para criar coletores em organizações, pastas ou contas de faturamento, consulte Coletores agregados.

Antes de começar

Antes de criar um coletor, verifique o seguinte:

  • Você tem um projeto do Google Cloud com registros que podem ser exibidos no Explorador de registros.

  • Você tem um dos seguintes papéis do IAM para o projeto do Cloud de origem a partir do qual está enviando registros.

    • Proprietário (roles/owner)
    • Administrador do Logging (roles/logging.admin)
    • Gravador de configuração de registros (roles/logging.configWriter)

    As permissões contidas nesses papéis permitem criar, excluir ou modificar coletores. Para informações sobre como definir os papéis do IAM, consulte o Guia de controle de acesso do Logging.

  • você tem um recurso em um destino compatível ou pode criar um;

    O destino dos coletores de registro precisa ser criado antes do coletor, por meio da ferramenta de linha de comando gcloud, do Console do Cloud ou das APIs do Google Cloud. É possível criar o destino em qualquer projeto do Cloud em qualquer organização, mas é necessário garantir que a conta de serviço do coletor tenha permissões para gravar no destino.

Criar um coletor

Veja a seguir as instruções para criar um coletor em um projeto do Cloud usando o Console do Cloud ou a ferramenta de linha de comando gcloud.

É possível criar até 200 coletores por projeto do Cloud.

Para criar um coletor, faça o seguinte:

Console

  1. No Console do Cloud, acesse a página Logging > Roteador de registros.

    Acessar o roteador de registros

  2. Selecione um projeto do Cloud existente.

  3. Selecione Criar coletor.

  4. No painel Detalhes do coletor, insira os seguintes detalhes:

    • Nome do coletor: forneça um identificador para o coletor. Depois de criar o coletor, não será possível renomeá-lo, mas será possível excluí-lo e criar um novo coletor.

    • Descrição do coletor (opcional): descreva a finalidade ou o caso de uso do coletor.

  5. No painel Destino do coletor, selecione o serviço de coletor e o destino:

    • Selecionar serviço de coletor: selecione o serviço para o qual você quer que os registros sejam roteados.

    Com base no serviço selecionado, é possível selecionar os seguintes destinos:

    • Bucket do Cloud Logging: selecione ou crie um bucket do Logging.
    • Tabela do BigQuery: selecione ou crie o conjunto de dados específico para receber os registros roteados. Você também tem a opção de usar tabelas particionadas.
    • Bucket do Cloud Storage: selecione ou crie o bucket específico do Cloud Storage para receber os registros roteados.
    • Tópico do Pub/Sub: selecione ou crie o tópico específico para receber os registros roteados.
    • Splunk: selecione o tópico Pub/Sub para seu serviço Splunk.
    • Outro projeto do Cloud: adicione manualmente as informações de serviço e destino do Logging, BigQuery, Cloud Storage ou Pub/Sub no seguinte formato:

      SERVICE.googleapis.com/projects/PROJECT_ID/SINK_DESTINATION/DESTINATION_ID
      

      Por exemplo, se o destino do coletor for um conjunto de dados do BigQuery, o destino do coletor será o seguinte:

      bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID
      

      Se você estiver roteando registros entre projetos do Cloud, ainda precisará das permissões de destino apropriadas.

  6. Escolha os registros que serão incluídos no coletor no painel Criar inclusão.

    1. Digite uma expressão de filtro que corresponda às entradas de registro que você quer incluir. Se você não definir um filtro, todos os registros do projeto do Cloud serão roteados para o destino.

      Por exemplo, é possível criar um filtro para encaminhar todos os registros de acesso a dados para um único bucket do Logging. Esse filtro tem a seguinte aparência:

      LOG_ID("cloudaudit.googleapis.com/data_access") OR LOG_ID("externalaudit.googleapis.com/data_access")
      

      O comprimento de um filtro não pode exceder 20.000 caracteres.

    2. Para conferir se você inseriu o filtro correto, selecione Visualizar registros. O Explorador de registros é aberto em uma nova guia com o filtro pré-preenchido.

  7. (Opcional) Escolha os registros para excluir do coletor no painel Criar um filtro de exclusão:

    1. Digite um nome no campo Nome do filtro de exclusão.

    2. Na seção Criar um filtro de exclusão, insira uma expressão de filtro que corresponda às entradas de registro que você quer excluir. Também é possível usar a função sample para selecionar uma parte das entradas de registro a serem excluídas.

    É possível criar até 50 filtros de exclusão por coletor. O comprimento de um filtro não pode exceder 20.000 caracteres.

  8. Selecione Criar coletor.

API

  1. Para criar um coletor de geração de registros no seu projeto do Cloud, use projects.Sinks.create na API Logging. No objeto LogSink, forneça os valores necessários apropriados no corpo da solicitação do método:

    • name: um identificador do coletor. Depois de criar o coletor, não será possível renomear o coletor, mas será possível excluí-lo e criar um novo coletor.
    • destination: o serviço e o destino para onde você quer que os registros sejam roteados. Por exemplo, se o destino do coletor for um conjunto de dados do BigQuery, destination será semelhante a:

      bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID
      
  2. No objeto LogSink, forneça as informações opcionais adequadas:

    • filter : defina a propriedade filter de acordo com as entradas de registro que você quer incluir no coletor. Se você não definir um filtro, todos os registros do projeto do Cloud serão roteados para o destino. O comprimento de um filtro não pode exceder 20.000 caracteres.
    • exclusions: defina essa propriedade para corresponder às entradas de registro que você quer excluir do coletor. Também é possível usar a função sample para selecionar uma parte das entradas de registro a serem excluídas. É possível criar até 50 filtros de exclusão por coletor.
    • description: defina essa propriedade para descrever a finalidade ou o caso de uso do coletor.
  3. Chame projects.Sinks.create para criar o coletor.

  4. Recupere o nome da conta de serviço no campo writer_identity retornado da resposta da API.

  5. Conceda permissão à conta de serviço para gravar no destino do coletor.

    Se você não tiver permissão para fazer essa alteração no destino do coletor, envie o nome da conta de serviço para alguém que possa fazer essa alteração.

    Para mais informações sobre a concessão de permissões de contas de serviço para recursos, consulte a seção definir permissões de destino.

Para mais informações sobre como criar coletores usando a API Logging, consulte a referência LogSink.

gcloud

Para criar um coletor, execute o seguinte comando gcloud logging sinks create.

Forneça os valores apropriados às variáveis no comando da seguinte maneira:

  • SINK_NAME: um identificador do coletor. Depois de criar o coletor, não será possível renomeá-lo, mas será possível excluí-lo e criar um novo coletor.
  • SINK_DESTINATION: o serviço e o destino para onde você quer que os registros sejam roteados. Por exemplo, se o destino do coletor for um conjunto de dados do BigQuery, SINK_DESTINATION será semelhante a este:

    bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID
    
  • OPTIONAL_FLAGS inclui as seguintes sinalizações:

    • --log-filter : use essa sinalização para definir um filtro que corresponda às entradas de registros que você quer incluir no coletor. Se você não definir um filtro, todos os registros do projeto do Cloud serão roteados para o destino.
    • --exclusion: use essa sinalização para definir um filtro de exclusão para entradas de registro que você quer excluir do coletor. Também é possível usar a função sample para selecionar uma parte das entradas de registro a serem excluídas. Essa sinalização pode ser repetida. é possível criar até 50 filtros de exclusão por coletor.
    • --description: use esta sinalização para descrever a finalidade ou o caso de uso do coletor.
gcloud logging sinks create SINK_NAME
SINK_DESTINATION OPTIONAL_FLAGS

Por exemplo, para criar um coletor para um bucket do Logging, seu comando pode ter esta aparência:

gcloud logging sinks create my-sink logging.googleapis.com/projects/myproject123/locations/global/buckets/my-bucket \
  --log-filter='logName="projects/myproject123/logs/matched"' --description="My first sink"

Para mais informações sobre como criar coletores usando a ferramenta de linha de comando gcloud, incluindo mais sinalizações e exemplos, consulte a referência de gcloud logging sinks. de dados.

Para informações sobre como visualizar registros nos destinos do coletor, consulte Encontrar registros roteados.

Depois de criar o coletor, é possível visualizar o número e o volume de entradas de registro recebidas usando as métricas logging.googleapis.com/exports/.

Se você receber notificações de erro, consulte Resolver problemas de roteamento e coletores.

Encaminhar registros entre buckets de registros em diferentes projetos do Cloud

É possível rotear registros para um destino em um projeto do Cloud diferente daquele em que o coletor foi criado.

Para isso, siga um destes procedimentos:

  • Atribua à conta de serviço do coletor o papel roles/logging.bucketWriter para gravar no destino. consulte as Permissões de destino para ver instruções.

  • Tenha uma das permissões do IAM a seguir para o projeto do Cloud de origem do qual você está enviando registros.

    • Proprietário (roles/owner)
    • Administrador do Logging (roles/logging.admin)
    • Gravador de configuração de registros (roles/logging.configWriter)

    Se você estiver criando um novo bucket do Logging no projeto de destino do Cloud, precisa ter uma dessas permissões.

Gerenciar coletores

Depois que os coletores são criados, é possível executar as seguintes ações neles:

  • Ver detalhes do coletor
  • Atualizar coletores
  • Desativar coletores
  • Excluir coletores

Para visualizar e gerenciar seus coletores, faça o seguinte:

Console

Visualize e gerencie seus coletores na página Roteador de registros:

Acessar o roteador de registros

Verifique se você selecionou o projeto do Cloud que contém seu coletor usando o seletor de recursos de qualquer lugar no Console do Cloud:

Um projeto é selecionado no menu suspenso.

Para visualizar os coletores agregados, selecione a organização, a pasta ou a conta de faturamento que contém o coletor.

A página Roteador de registros contém um resumo da tabela de coletores. Cada linha da tabela contém informações sobre as propriedades de um coletor:

  • Ativado: indica se o estado do coletor está ativado ou desativado.
  • Tipo: o serviço de destino do coletor. por exemplo, Cloud Logging bucket.
  • Nome: o identificador do coletor, conforme fornecido quando o coletor foi criado. Por exemplo, _Default.
  • Descrição: a descrição do coletor, conforme fornecido quando o coletor foi criado.
  • Destino: nome completo do destino para onde as entradas de registro roteadas serão enviadas.
  • Criado: a data e hora em que o coletor foi criado.
  • Atualizado: é a data e a hora em que o coletor foi editado pela última vez.

Cada linha da tabela tem um menu e apresenta as seguintes opções:

  • Visualizar detalhes do coletor: exibe os filtros de nome, descrição, serviço de destino, destino e inclusão e exclusão do coletor. Selecione Editar para abrir o painel Editar coletor.
  • Editar coletor: abre o painel Editar coletor, em que é possível atualizar os parâmetros do coletor.
  • Desativar coletor: permite desativar o coletor e parar de rotear os registros para o destino do coletor. Para mais informações sobre como desativar coletores, consulte Parar a ingestão de registros.
  • Ativar coletor: permite ativar um coletor desativado e reiniciar os registros de roteamento para o destino do coletor.
  • Excluir coletor: permite excluir o coletor e parar de rotear os registros para o destino do coletor. Os coletores _Default e _Required não podem ser excluídos, mas o coletor _Default pode ser desativado para interromper o registro de registros no bucket _Default do Logging.

Ao clicar em qualquer um dos nomes de coluna, você organiza os dados em ordem crescente ou decrescente.

API

  • Para visualizar os coletores do projeto do Cloud, chame projects.sinks.list.

  • Para visualizar os detalhes de um coletor, chame projects.sinks.get.

  • Para atualizar um coletor, chame projects.sink.update.

    É possível atualizar o destino, os filtros e a descrição de um coletor. Também é possível desativar ou reativar o coletor.

  • Para desativar um coletor, chame projects.sink.update e defina a propriedade disabled como true.

    Para reativar o coletor, chame projects.sink.update e defina a propriedade disabled como false.

  • Para excluir um coletor, chame projects.sinks.delete.

    Se você excluir um coletor, as entradas de registro não serão mais roteadas a partir dele.

    Para mais informações sobre qualquer um desses métodos para gerenciar coletores usando a API Logging, consulte a referência LogSink.

gcloud

  • Para visualizar a lista de coletores do projeto do Cloud, use o gcloud logging sinks list, que corresponde ao método da API Logging projects.sinks.list .

    gcloud logging sinks list
    

    Para visualizar a lista de coletores agregados, use a sinalização apropriada para especificar o recurso que contém o coletor. Por exemplo, se você criou o coletor no nível da organização, use a sinalização --organization=ORGANIZATION_ID para listar os coletores da organização.

  • Para descrever um coletor, use o comando gcloud logging sinks describe, que corresponde ao método da API Logging projects.sinks.get:

    gcloud logging sinks describe SINK_NAME
    
  • Para atualizar um coletor, use o comando gcloud logging sinks update, que corresponde ao método de API projects.sink.update.

    Atualize um coletor para alterar o destino, os filtros e a descrição, ou para desativar ou reativar o coletor:

    gcloud logging sinks update SINK_NAME  NEW_DESTINATION  --log-filter=NEW_FILTER

    Omita NEW_DESTINATION ou --log-filter se essas partes não mudarem.

    Por exemplo, para atualizar o destino do coletor denominado my-project-sink para um novo destino de bucket do Cloud Storage chamado my-second-gcs-bucket, o comando será semelhante a este:

    gcloud logging sinks update  my-project-sink  storage.googleapis.com/my-second-gcs-bucket
    
  • Para desativar um coletor, use o comando gcloud logging sinks update, que corresponde ao método de API projects.sink.update, e inclua a sinalização --disabled:

    gcloud logging sinks update _Default  --disabled
    

    Para reativar o coletor, use o comando gcloud logging sinks update, remova a sinalização --disabled e inclua a sinalização --no-disabled:

    gcloud logging sinks update _Default  --no-disabled
    
  • Para excluir um coletor, use o comando gcloud logging sinks delete, que corresponde ao método de API projects.sinks.delete:

    gcloud logging sinks delete SINK_NAME
    

    Se você excluir um coletor, as entradas de registro não serão mais roteadas a partir dele.

    Para mais informações sobre como gerenciar coletores usando a ferramenta de linha de comando gcloud, consulte a referência gcloud logging sinks.

Parar o processamento de registros

Para cada projeto do Cloud, o Logging cria automaticamente dois buckets de registros: _Required e _Default. A geração de registros cria automaticamente dois coletores de registros, _Required e _Default, que encaminham registros para os buckets correspondentes.

Não é possível desativar o coletor _Required; Os preços de processamento e de armazenamento não se aplicam aos dados de registros armazenados no bucket de _Required. Desative o coletor _Default para interromper a ingestão de registros no bucket _Default. Também é possível desativar qualquer coletor definido pelo usuário.

Quando você interrompe a ingestão de registros do bucket _Default desativando todos os coletores do projeto do Cloud que enviam registros para o bucket _Default, nenhum novo processamento do Cloud Logging as cobranças são incorridas pelo projeto do Cloud para o bucket _Default. O bucket _Default fica vazio quando todos os registros ingeridos anteriormente no bucket _Default atendem ao período de armazenamento do bucket.

Para desativar os coletores de projeto do Cloud que encaminham registros para o bucket _Default, siga estas etapas:

Console

  1. Acesse o roteador de registros:

    Acessar o roteador de registros

  2. Para encontrar todos os coletores que encaminham registros para o bucket _Default, filtre os coletores por destino e digite _Default.

    Encontre todos os coletores que encaminham registros para o bucket padrão.

  3. Para cada coletor, selecione Menu e depois Desativar coletor.

Os coletores agora estão desativados, e os coletores de projetos do Cloud não estão mais registrando registros para o bucket _Default.

Para reativar um coletor desativado e reiniciar os registros de roteamento para o destino do coletor, faça o seguinte:

  1. Acesse a página Roteador de registros:

    Acessar o roteador de registros

  2. Para encontrar todos os coletores desativados configurados anteriormente para rotear registros para o bucket _Default, filtre os coletores por destino e digite _Default.

  3. Para cada coletor, selecione Menu e depois Ativar coletor.

API

  1. Para visualizar os coletores do projeto do Cloud, chame o método da API Logging projects.sinks.list.

    Identifique os coletores que estão roteando para o bucket _Default.

  2. Por exemplo, para desativar o coletor _Default, chame projects.sink.update e defina a propriedade disabled como true.

O coletor _Default agora está desativado. Ele não encaminha mais registros para o bucket _Default.

Para desativar os outros coletores no projeto do Cloud que estão roteando para o bucket _Default, repita as etapas acima.

Para reativar um coletor, chame projects.sink.update e defina a propriedade disabled como false.

gcloud

  1. Para visualizar a lista de coletores do projeto do Cloud, use o gcloud logging sinks list, que corresponde ao método da API Logging projects.sinks.list .

    gcloud logging sinks list
    
  2. Identifique os coletores que estão roteando para o bucket _Default. Para descrever um coletor, incluindo a visualização do nome do destino, use o comando gcloud logging sinks describe, que corresponde ao método da API do Logging projects.sinks.get

    gcloud logging sinks describe SINK_NAME
    
  3. Por exemplo, para desativar o coletor _Default, use o comando gcloud logging sinks update e inclua a sinalização --disabled:

    gcloud logging sinks update _Default  --disabled
    

O coletor _Default agora está desativado. Ele não encaminha mais registros para o bucket _Default.

Para desativar os outros coletores no projeto do Cloud que estão roteando para o bucket _Default, repita as etapas acima.

Para reativar um coletor, use o comando gcloud logging sinks update, remova a sinalização --disabled e inclua a sinalização --no-disabled:

gcloud logging sinks update _Default  --no-disabled

Definir permissões de destino

Nesta seção, descrevemos como conceder permissões de gerenciamento de identidade e acesso ao Logging para gravar registros no destino do coletor. Para ver a lista completa de papéis e permissões do Logging, consulte Controle de acesso.

Quando você cria um coletor, o Logging cria uma nova conta de serviço para ele, chamada de identidade única de gravador. O destino do coletor precisa permitir que essa conta de serviço grave entradas de registro. Não é possível gerenciar essa conta de serviço diretamente porque ela pertence e é gerenciada pelo Cloud Logging. A conta de serviço será excluída se o coletor for excluído.

Se você estiver usando um coletor para rotear registros entre buckets do Logging no mesmo projeto do Cloud, nenhuma conta de serviço será criada. o coletor funciona sem a identidade do gravador exclusiva. Se você estiver usando um coletor para rotear registros entre buckets do Logging em diferentes projetos do Cloud, uma nova conta de serviço será criada.

Para definir permissões a fim de rotear o coletor para o destino, faça o seguinte:

Console

  1. Consiga a identidade de gravador do coletor (um endereço de e-mail) do novo coletor. Acesse a página Roteador de registros e selecione Menu > Ver detalhes do coletor. A identidade do gravador aparece no painel Detalhes do coletor.

  2. Se você tiver acesso de proprietário no destino, adicione a conta de serviço ao destino da seguinte maneira:

    • Para destinos do Cloud Storage, adicione a identidade de gravador do coletor ao bucket do Cloud Storage e atribua a ele o papel Criador de objetos do Storage.
    • Para destinos do BigQuery, adicione a identidade de gravador do coletor ao conjunto de dados e atribua a ele o papel Editor de dados do BigQuery.
    • Para o Pub/Sub, incluindo o Splunk, adicione a identidade de gravador do coletor ao seu tópico e atribua a ele o papel editor do Pub/Sub.
    • Para destinos de bucket do Logging em diferentes projetos do Cloud, adicione a identidade do gravador do coletor ao bucket de registro de destino e conceda a permissão roles/logging.bucketWriter.

    Se você não tiver proprietário ao destino do destino do coletor, envie o nome da conta de serviço da identidade do gravador para alguém que tenha essa capacidade. Essa pessoa precisa seguir as instruções da etapa anterior para adicionar a identidade do gravador ao destino do coletor.

API

  1. Chame o método da API projects.Sinks.create ou projects.Sinks.update para criar ou modificar o coletor.

    Defina uniqueWriterIdentity como true. Ao atualizar um coletor, é possível alterar o uso de um gravador compartilhado para um gravador exclusivo. Se o coletor existente já usa um gravador exclusivo, o coletor atualizado usa o mesmo gravador.

    Os métodos retornam o novo coletor, que contém a nova identidade do gravador.

  2. Se você tiver acesso de Proprietário do IAM ao destino, adicione a conta de serviço ao destino da seguinte maneira:

    • Para destinos do Cloud Storage, adicione a identidade de gravador do coletor ao bucket do Cloud Storage e atribua a ele o papel Criador de objetos do Storage.
    • Para destinos do BigQuery, adicione a identidade de gravador do coletor ao conjunto de dados e atribua a ele o papel Editor de dados do BigQuery.
    • Para o Pub/Sub, incluindo o Splunk, adicione a identidade de gravador do coletor ao seu tópico e atribua a ele o papel editor do Pub/Sub.
    • Para destinos de bucket do Logging em diferentes projetos do Cloud, adicione a identidade de gravador do coletor ao bucket de registro de destino e conceda a permissão roles/logging.bucketWriter.

    Se você não tiver proprietário ao destino do destino do coletor, envie o nome da conta de serviço da identidade do gravador para alguém que tenha essa capacidade. Essa pessoa precisa seguir as instruções da etapa anterior para adicionar a identidade do gravador ao destino do coletor.

gcloud

  1. Consiga a conta de serviço do campo writerIdentity no seu coletor:

    gcloud logging sinks describe SINK_NAME
    

    A conta de serviço é semelhante a esta:

    serviceAccount:p123456789012-12345@gcp-sa-logging.iam.gserviceaccount.com
    
  2. Se você tiver acesso de Proprietário do IAM ao destino, adicione a conta de serviço ao destino da seguinte maneira:

    • Para destinos do Cloud Storage, adicione a identidade de gravador do coletor ao bucket do Cloud Storage e atribua a ele o papel Criador de objetos do Storage.
    • Para destinos do BigQuery, adicione a identidade de gravador do coletor ao conjunto de dados e atribua a ele o papel Editor de dados do BigQuery.
    • Para o Pub/Sub, incluindo o Splunk, adicione a identidade de gravador do coletor ao seu tópico e atribua a ele o papel editor do Pub/Sub.
    • Para destinos de bucket do Logging em diferentes projetos do Cloud, adicione a identidade de gravador do coletor ao bucket de registro de destino e conceda a permissão roles/logging.bucketWriter.

    Se você não tiver proprietário ao destino do destino do coletor, envie o nome da conta de serviço da identidade do gravador para alguém que tenha essa capacidade. Essa pessoa precisa seguir as instruções da etapa anterior para adicionar a identidade do gravador ao destino do coletor.

    Por exemplo, para rotear registros entre buckets do Logging em projetos diferentes do Cloud, adicione roles/logging.bucketWriter à conta de serviço da seguinte maneira:

    1. Consiga a política de gerenciamento de identidade e acesso do projeto de destino do Cloud e grave-a em um arquivo local no formato JSON:

      gcloud projects get-iam-policy DESTINATION_PROJECT_ID --format json > output.json
      
    2. Adicione uma condição do IAM que permita que a conta de serviço grave somente no bucket do Cloud Logging que você criou. Exemplo:

      {
      "bindings": [
       {
         "members": [
           "user:username@gmail.com"
         ],
         "role": "roles/owner"
       },
       {
         "members": [
           "[SERVICE_ACCOUNT]"
         ],
         "role": "roles/logging.bucketWriter",
         "condition": {
             "title": "Bucket writer condition example",
             "description": "Grants logging.bucketWriter role to service account [SERVICE_ACCOUNT] used by log sink [SINK_NAME]",
             "expression":
               "resource.name.endsWith(\'locations/global/buckets/BUCKET_ID\')"
         }
       }
      ],
      "etag": "BwWd_6eERR4=",
      "version": 3
      }
    3. Atualize a política do IAM:

      gcloud projects set-iam-policy DESTINATION_PROJECT_ID output.json
      

Amostras de código

Para usar o código da biblioteca de cliente para configurar coletores nos idiomas escolhidos, consulte Bibliotecas de cliente do Logging: coletores de registros.

Exemplos de filtros

Veja a seguir alguns exemplos de filtro que são particularmente úteis ao criar coletores.

Para mais exemplos que podem ser úteis ao criar seus filtros de inclusão e exclusão, consulte Amostra de consultas.

Restaurar o filtro do coletor _Default

Se você editou o filtro do coletor _Default, convém restaurar o filtro padrão. Para fazer isso, insira o seguinte filtro de inclusão:

  NOT LOG_ID("cloudaudit.googleapis.com/activity") AND NOT \
  LOG_ID("externalaudit.googleapis.com/activity") AND NOT \
  LOG_ID("cloudaudit.googleapis.com/system_event") AND NOT \
  LOG_ID("externalaudit.googleapis.com/system_event") AND NOT \
  LOG_ID("cloudaudit.googleapis.com/access_transparency") AND NOT \
  LOG_ID("externalaudit.googleapis.com/access_transparency")

Excluir registros de contêiner e de pod do Google Kubernetes Engine

Para excluir os registros de contêiner e pod do Google Kubernetes Engine do sistema namespaces do GKE, use o seguinte filtro :

resource.type = ("k8s_container" OR "k8s_pod")
resource.labels.namespace_name = (
"cnrm-system" OR
"config-management-system" OR
"gatekeeper-system" OR
"gke-connect" OR
"gke-system" OR
"istio-system" OR
"knative-serving" OR
"monitoring-system" OR
"kube-system")

Para excluir os registros de nó do Google Kubernetes Engine do sistema logNames do GKE, use o seguinte filtro:

resource.type = "k8s_node"
logName:( "logs/container-runtime" OR
"logs/docker" OR
"logs/kube-container-runtime-monitor" OR
"logs/kube-logrotate" OR
"logs/kube-node-configuration" OR
"logs/kube-node-installation" OR
"logs/kubelet" OR
"logs/kubelet-monitor" OR
"logs/node-journal" OR
"logs/node-problem-detector")

Para ver o volume de nós, pod e contêiner de registros do Google Kubernetes Engine ingeridos no Cloud Logging, use Metrics Explorer no Cloud Monitoring.

Exclua registros de Dataflow que não são necessários para compatibilidade

Para excluir os registros do Dataflow que não são necessários para suporte, use o seguinte filtro:

resource.type="dataflow_step"
labels."dataflow.googleapis.com/log_type"!="system" AND labels."dataflow.googleapis.com/log_type"!="supportability"

Para ver o volume de dados de registros do Dataflow ingeridos no Cloud Logging, use o Metrics Explorer no Cloud Monitoring.

Compatibilidade

Ainda que o Cloud Logging ofereça a capacidade de excluir registros da ingestão, considere manter registros que ajudem na compatibilidade. O uso desses registros pode ajudar você a solucionar problemas rapidamente e identificar problemas nos seus aplicativos.

Por exemplo, os registros do sistema do GKE são úteis para solucionar problemas de aplicativos e clusters do GKE porque são gerados para eventos que acontecem no cluster. Esses registros podem ajudar você a determinar se o código do aplicativo ou o cluster subjacente do GKE está causando o erro do aplicativo. Os registros do sistema do GKE também incluem o Kubernetes Audit Logging gerado pelo componente servidor da API Kubernetes, que inclui alterações feitas usando o comando kubectl e os eventos do Kubernetes.

Para o Dataflow, recomendamos que você processe pelo menos os registros do sistema (labels."dataflow.googleapis.com/log_type"="system") e de compatibilidade (labels."dataflow.googleapis.com/log_type"="supportability"). Esses registros são essenciais para que os desenvolvedores possam observar e solucionar problemas nos pipelines do Dataflow, e os usuários talvez não consigam usar a página Detalhes do job do Dataflow para ver os registros do job.

A seguir