Como exportar com o Visualizador de registros

Nesta página, explicamos como exportar entradas de registro usando o console do GCP. Também é possível exportar entradas de registro na API Stackdriver Logging e na ferramenta de linha de comando gcloud logging.

Se você não estiver familiarizado com a exportação de registros no Logging, consulte Visão geral da exportação de registros. Em resumo, você exporta registros criando um ou mais coletores que incluem um filtro de registros e um destino. Quando o Stackdriver Logging recebe novas entradas de registro, elas são comparadas com cada coletor. Se uma entrada de registro corresponder ao filtro de um coletor, uma cópia dela será gravada no destino.

Para saber como os registros exportados são formatados e organizados, consulte Como usar registros exportados.

Primeiros passos

  1. Acesse a página Stackdriver Logging > Exportações de registros no console do GCP:

    Acessar a Exportações de registros.

  2. Selecione um projeto do GCP na parte superior da página. Você vê a lista de exportações de registros no projeto do GCP.

    A seguinte captura de tela mostra um exemplo da página Exportações de registros, em que vários coletores de registros já estão configurados:

página Exportação

Se você ainda não tiver configurado os coletores de registros, a mensagem Sem coletores de registro configurados será exibida, em vez da lista mostrada acima.

Antes de começar

  • Projeto: você precisa ter um projeto do Google Cloud Platform com registros que possam ser exibidos no Visualizador de registros.

    Neste projeto, é necessário que você tenha o papel de IAM Proprietário ou Gravador de configuração de registros no projeto para criar, excluir ou modificar um coletor. Para saber mais informações, consulte Permissões e papéis.

  • Serviço de destino: para exportar registros, você precisa estar inscrito no serviço em que os registros serão gravados: Cloud Storage, BigQuery, ou Cloud Pub/Sub.

Interface do usuário "Exportações de registros"

A interface da Exportações de registros contém uma tabela com um resumo das exportações. Cada linha da tabela contém informações correspondentes a algumas das propriedades de coletor descritas em Visão geral da exportação de registros:

  • Nome do coletor: o identificador do coletor no projeto atual.
  • Destino: o local que recebe as entradas de registro exportadas.
  • Identidade de gravador: a conta de serviço que o Logging usa para gravar entradas de registro no destino. Essa conta de serviço precisa ter permissão para gravar no destino de exportação do coletor.

Cada linha da tabela tem um menu flutuante no canto direito e apresenta as seguintes opções:

  • Editar coletor: abre um painel Editar exportação, que permite alterar os parâmetros do coletor.
  • Excluir coletor: permite excluir o coletor e interromper a exportação de registros.
  • Ver filtro: exibe o filtro do coletor. Clicar em Editar permite alterar as propriedades ou o filtro do coletor.

A caixa de filtro de pesquisa acima da tabela permite filtrar os coletores por pesquisa de texto ou as propriedades do coletor Nome, Destino e Identidade do gravador. Por exemplo, a captura de tela a seguir mostra uma pesquisa em Destino bigquery e opções para concatenar outras propriedades do coletor para o argumento por OU (E é o padrão):

Filtro de exportação

Além disso, clicar em qualquer um dos nomes das colunas permite classificar os dados em ordem crescente ou decrescente. Na parte inferior da tabela, também é possível selecionar o número de linhas que você quer ver exibidas.

Como criar coletores

Para criar um coletor de exportação, clique no botão Criar exportação na parte superior da página Exportações de registros. Também é possível acessar esse botão na parte superior da página "Visualizador de registros".

Se a conta não tiver permissão de criação de exportações para o projeto, esse botão será desativado. Consulte a seção Antes de começar acima para mais informações.

A seguinte captura de tela mostra o painel Editar exportação com alguns campos preenchidos:

Configurar exportação

Para criar um coletor, preencha o painel Editar exportação assim:

  1. (filtro): insira um filtro de registros avançado. Não é preciso colocar o filtro entre aspas, e é possível usar várias linhas. O filtro inicial é determinado pelas entradas de registro exibidas quando você clica em Criar exportação.

    Sempre que você editar o filtro, clique em Enviar filtro, localizado na caixa do filtro, para exibir as entradas de registro correspondentes. Clique no ícone Ir para os registros mais recentes localizado na parte superior da página para buscar os registros mais recentes.

    Se você quiser usar a interface de visualização básica para selecionar os registros, use o menu ▾ que está localizado no lado direito da caixa do filtro de pesquisa.

  2. Nome do coletor: insira o identificador que será atribuído ao coletor.

  3. Serviço de coletor: selecione um serviço de destino: Cloud Storage, Cloud Pub/Sub, BigQuery ou Destino personalizado.

    Um destino de exportação personalizado ainda precisa estar no Cloud Storage, no BigQuery ou no Cloud Pub/Sub, mas permite enviar registros para um coletor em um projeto diferente.

  4. Destino de coletor:

    1. Cloud Storage: selecione ou crie o intervalo específico para receber os registros exportados.
    2. Cloud Pub/Sub: selecione ou crie o tópico específico para receber os registros exportados.
    3. BigQuery: selecione ou crie o conjunto de dados específico para receber os registros exportados.
    4. Destino personalizado: adicione o projeto do Cloud Storage, do Cloud Pub/Sub ou do BigQuery como uma string. Para saber informações sobre formatação do nome do projeto, consulte Propriedades do coletor.
  5. Clique em Atualizar coletor para criar o coletor.

    Como parte da criação do coletor, o Logging tenta conceder a permissão de identidade de gravador do coletor para gravar no destino. Se você estiver exportando para um destino em um projeto diferente daquele em que estão os registros, um administrador do novo destino precisará conceder permissão. Envie para o administrador a identidade de gravador do coletor, que está listada com o coletor na página Exportações.

Começarão a ser exportadas novas entradas de registro correspondentes ao seu coletor. As entradas de registro para BigQuery ou Cloud Pub/Sub são enviadas para esses destinos de exportação imediatamente. As entradas de registro para o Cloud Storage são organizadas em lote e enviadas aproximadamente a cada hora. Para mais informações, consulte Como usar os registros exportados.

Se o Logging encontrar erros ao tentar exportar registros para o destino, os erros serão exibidos no Stream de atividades do projeto. Selecione Atividade na parte superior da página inicial do projeto no Console do Google Cloud Platform. Para diagnosticar erros comuns, consulte Solução de problemas.

Como atualizar coletores

Para atualizar um coletor, selecione o comando Editar coletor no menu Mais à direita do nome do coletor. Você pode alterar qualquer um destes parâmetros:

  • Destino
  • Filtro

Para alterar outros parâmetros dos coletores, use o método da projects.sinks.update API.

Como excluir coletores

Para excluir um coletor, selecione-o na página Exportações e pressione Excluir na parte superior da página. Como alternativa, selecione Excluir coletor no menu Mais, à direita do nome do coletor.

Permissões de destino

Nesta seção, mostraremos como conceder ao Logging permissão para gravar registros exportados no destino do coletor.

Quando você cria um coletor, o Logging cria uma nova conta de serviço para o coletor, chamada de identidade única de gravador. Não é possível gerenciar essa conta de serviço diretamente, uma vez que pertence ao Stackdriver Logging e é gerenciada por ele. A conta de serviço será excluída se o coletor for excluído.

Essa conta de serviço precisa ter permissão do destino de exportação para gravar entradas de registro. Para configurar essa permissão, siga estes passos:

  1. Crie o novo coletor no Console do GCP, na interface de linha de comando gcloud logging ou na API Logging.

  2. Se você tiver criado seu coletor no Console do GCP e tiver acesso Proprietário ao destino, as permissões necessárias precisarão ter sido configuradas em seu nome pelo Stackdriver Logging. Se ele fez isso, está tudo pronto. Caso contrário, continue.

  3. Consiga a identidade de gravador do coletor (um endereço de e-mail) com o novo coletor:

    • Se estiver usando o Console do GCP, você poderá ver a identidade do gravador na listagem do coletor, na página Exportações.
    • Se estiver usando a API Logging, você poderá conseguir a identidade do gravador do objeto LogSink.
    • Se estiver usando gcloud logging, você poderá ver as identidades de gravador quando listar os coletores.
  4. Caso você tenha acesso Proprietário ao destino, adicione a conta de serviço ao destino da seguinte maneira:

    • Para destinos do Cloud Storage, adicione a identidade do gravador do coletor ao intervalo e conceda o papel Criador de objetos do Storage.
    • Para destinos do BigQuery, adicione a identidade do gravador do coletor ao conjunto de dados e conceda o papel Editor de dados do BigQuery.
    • Para o Cloud Pub/Sub, adicione a identidade do gravador do coletor ao tópico e conceda o papel Editor do Pub/Sub.

    Isso conclui a autorização.

  5. Se você não tiver acesso Proprietário ao destino de exportação, envie o nome da conta de serviço da identidade de gravador para alguém que tenha. Essa pessoa precisará seguir as instruções contidas no passo anterior para adicionar a identidade de gravador ao destino de exportação.

Atrasos de autorização

Se um coletor tentar exportar uma entrada de registro, mas não tiver a permissão necessária para o destino de exportação, ele reportará um erro e ignorará a entrada de registro. Isso continuará até que a permissão seja concedida, quando então o coletor começará a exportar novas entradas de registro.

Há um atraso inevitável entre a criação do coletor e o uso da nova conta de serviço dele para autorizar a gravação no destino de exportação. É possível optar por simplesmente ignorar as mensagens de erro do coletor durante o atraso.

Vantagens e limitações

O console do GCP tem as seguintes vantagens sobre o uso da API do Logging:

  • O Console do GCP mostra todos os coletores em um só lugar.
  • O Console do GCP mostra quais entradas de registro correspondem ao filtro do coletor antes de você criar um coletor.
  • O Console do GCP pode criar e autorizar destinos de exportação para os coletores.

No entanto, o Console do GCP só pode criar ou visualizar coletores em projetos. Para criar coletores em organizações, pastas ou contas de faturamento, consulte Exportações agregadas.

Solucionador de problemas

Nesta seção, há uma lista de possíveis erros e resultados inesperados, assim como explicações sobre o que fazer com eles.

Os erros de coletores aparecem no Stream de atividades do projeto ou de algum outro recurso em que o coletor tenha sido criado. Veja o Stream de atividades na página inicial do recurso no Console do GCP.

Problemas gerais

Problema Causa Solução
As novas entradas de registro são exportadas, mas as entradas mais antigas não são. O Logging só exporta entradas de registro recebidas após a configuração da exportação. Use o método de API entries.list para recuperar suas entradas de registro mais antigas e grave-as no destino de exportação usando a API do serviço de destino. Só é possível recuperar entradas de registro que não tenham atingido a data de validade no Stackdriver Logging. Para mais informações, consulte Limites de retenção de registros.

Erros ao exportar para o Cloud Storage

Na tabela a seguir, há uma lista dos erros mais comuns que ocorrem quando você configura o Logging para exportar registros para o Cloud Storage:

Erro Causa Solução
As permissões no intervalo [YOUR_BUCKET] não autorizam o grupo de registros a criar novos objetos. A identidade de gravador do coletor não tem permissões suficientes para o intervalo. Adicione as permissões necessárias ao intervalo ou atualize o coletor para usar um intervalo diferente. Veja as permissões de destino.
Não existe nenhum intervalo com o nome: [YOUR_BUCKET]. Pode haver um erro no nome do intervalo ou o intervalo pode ter sido excluído. Atualize o coletor com o destino de intervalo correto.
Coletor criado com sucesso. No entanto, não foi possível conceder permissões corretas ao destino. No momento da criação do intervalo, o modelo de controle de acesso dele foi definido para Configurar permissões de maneira uniforme no nível do intervalo (Somente a política do intervalo).

Essa mensagem continua a ser exibida após a inclusão da conta de serviço.
Durante a criação do intervalo, selecione o modelo de controle de acesso Configurar permissões no nível do objeto e no nível do intervalo. Para os intervalos atuais, é possível alterar o modelo de controle de acesso para os primeiros 90 dias após a criação do intervalo usando a guia Permissões.

Erros ao exportar para o BigQuery

Na tabela a seguir, há uma lista dos erros mais comuns que ocorrem quando você configura o Logging para exportar registros para o BigQuery:

Erro Causa Solução
As permissões no conjunto de dados [YOUR_DATASET] não autorizam o grupo de registros a criar novas tabelas. A identidade do gravador do coletor não tem permissões suficientes para o conjunto de dados. Adicione a permissão ao conjunto de dados. Veja as permissões de destino.
Não existe nenhum conjunto de dados com o nome: [YOUR_DATASET]. Pode haver um erro no destino do coletor ou alguém pode ter excluído o conjunto de dados. Recrie o conjunto de dados ou atualize o coletor de exportação para usar um conjunto de dados diferente.
Os registros enviados para a tabela [YOUR_TABLE] no conjunto de dados [YOUR_DATASET] não correspondem ao esquema da tabela. Você está tentando exportar registros que são incompatíveis com o esquema da tabela atual. Verifique se as entradas de registro correspondem ao esquema da tabela. Um dos problemas comuns é o envio de entradas de registro com tipos diferentes de dados. Por exemplo, um dos campos na entrada de registro é um número inteiro, enquanto uma coluna correspondente no esquema tem um tipo de string. O stream de atividades contém um link para uma das entradas de registro inválidas. Depois de corrigir a origem do erro, é possível renomear a tabela atual e permitir que o Logging crie a tabela novamente.
A cota de inserção de streaming por tabela foi excedida para a tabela [YOUR_TABLE] no conjunto de dados [YOUR_DATASET]. Você está exportando um número excessivo de entradas de registro muito rapidamente. Veja os limites de cota padrão do BigQuery, que se aplicam ao streaming de registros. Diminua a quantidade de dados de registro que o coletor gera. Você pode atualizar o filtro do coletor para corresponder a menos entradas de registros ou usar a função sample ().
Os registros transmitidos para a tabela particionada [YOUR_TABLE] estão fora dos limites de tempo permitidos. O BigQuery não aceita registros muito distantes no passado ou no futuro. Os registros fora dos limites de tempo permitidos não podem ser exportados com coletores. Exporte esses registros para o Cloud Storage e use um job de carga do BigQuery em seu lugar. Para mais informações, consulte a documentação do BigQuery.
Os registros não podem ser transmitidos para o conjunto de dados [YOUR_DATASET] porque essa operação é proibida por uma política da organização. Há uma política de organização que impede gravações no conjunto de dados selecionado. Consulte a documentação para mais detalhes sobre políticas da organização. Modifique seu coletor de exportação para usar um conjunto de dados compatível.

Erros ao exportar registros para o Cloud Pub/Sub

A tabela a seguir lista os erros mais comuns que ocorrem na configuração do Logging para exportar registros para o Cloud Pub/Sub:

Erro Causa Solução
[ACCOUNT] precisa ter permissão de edição em [PROJECT] para publicar em [TOPIC]. A identidade do gravador do coletor não tem permissões suficientes para o tópico. Adicione as permissões necessárias ao projeto. Veja as permissões de destino.
O tópico [TOPIC] não existe. Você pode ter excluído o tópico configurado para receber os registros exportados. Recrie o tópico com o mesmo nome ou altere a configuração de exportação para usar um tópico diferente.

A seguir

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Stackdriver Logging
Precisa de ajuda? Acesse nossa página de suporte.