Visão geral dos coletores

Nesta página, apresentamos uma visão geral conceitual dos coletores, que controlam como o Cloud Logging encaminha registros.

Usando coletores, é possível rotear alguns ou todos os registros para destinos compatíveis ou excluir entradas de registro do armazenamento no Cloud Logging. É possível controlar como os registros são roteados pelos seguintes motivos:

  • Para armazenar registros que provavelmente não serão lidos, mas que precisam ser retidos para fins de conformidade.
  • Para ferramentas de análise de Big Data nos registros.
  • Para transmitir os registros para outros aplicativos, outros repositórios ou terceiros.

Como funcionam os coletores

Todas as entradas de registro gravadas na API Cloud Logging passam pelo Roteador de registros. Sempre que uma entrada de registro chega em um projeto do Cloud, pasta, conta de faturamento ou recurso da organização, o Logging compara a entrada de registro com os filtros dos coletores associados ao recurso.

Dependendo da configuração do coletor de registros, que inclui filtros e um destino, cada entrada de registro recebida pelo Cloud Logging se enquadra em uma ou mais destas categorias:

  • Armazenado no Cloud Logging e não roteado em outro lugar
  • Armazenado no Cloud Logging e roteado para um destino compatível
  • Não armazenado no Cloud Logging, mas roteado para um destino compatível
  • Nem armazenados no Cloud Logging nem roteados para outros lugares
    • Esses registros são excluídos totalmente

O Cloud Logging fornece dois coletores de registros predefinidos para cada projeto do Google Cloud: _Required e _Default. Todos os registros gerados em um projeto do Google Cloud são processados automaticamente por meio desses dois coletores de registros e, em seguida, armazenados no correspondente nome._Required e na_Default buckets de registro ,

Os coletores de registro atuam independentemente uns dos outros. Independentemente de como os coletores de registros predefinidos processam as entradas de registro, é possível criar coletores para rotear alguns ou todos os registros para vários destinos compatíveis } ou para excluí-los totalmente do armazenamento pelo Cloud Logging.

Os coletores geralmente são criados em projetos do Google Cloud. Para configurar coletores nos níveis da organização, da pasta ou da conta de faturamento, use coletores agregados.

Para mais detalhes sobre como os coletores encaminham registros, consulte Visão geral do roteamento e do armazenamento.

Destinos possíveis

O roteamento de registros envolve a criação de um coletor com um filtro que selecione as entradas de registro que você quer rotear e a escolha de um destino entre as seguintes opções:

  • Cloud Storage: arquivos JSON armazenados nos buckets do Cloud Storage; fornece armazenamento barato e de longo prazo.
  • BigQuery: tabelas criadas em conjuntos de dados do BigQuery; fornecem recursos de análise de Big Data.
  • Pub/Sub: mensagens formatadas em JSON entregues a tópicos do Pub/Sub é compatível com integrações de terceiros, como o Splunk, com o Logging.
  • Cloud Logging: entradas de registro mantidas em buckets de registro; fornece armazenamento no Cloud Logging com períodos de armazenamento personalizáveis.

Propriedades e terminologia de coletores

Os coletores têm várias propriedades, incluindo os filtros mencionados acima e um destino:

  • Identificador do coletor: um nome para o coletor. Por exemplo, my-vm-error-sink

  • Recurso pai: o recurso do Google Cloud em que você cria o coletor. O pai pode ser qualquer um destes:

    • projects/PROJECT_ID
    • folders/FOLDER_ID
    • billingAccounts/BILLING_ACCOUNT_ID
    • organizations/ORGANIZATION_ID

    Os coletores encaminham os registros que pertencem ao recurso pai. Também é possível usar coletores agregados para combinar e rotear registros de todos os projetos, pastas e contas de faturamento do Cloud de uma organização do Google Cloud.

    O nome completo do recurso de um coletor inclui o recurso pai e o identificador do coletor. Exemplo:

    projects/PROJECT_ID/sinks/SINK_ID

  • Filtro de inclusão: seleciona as entradas de registro a serem roteadas por esse coletor. Para exemplos de filtro de inclusão, consulte Amostra de consultas.

  • Filtro de exclusão: seleciona as entradas de registro a serem excluídas explicitamente do roteamento, mesmo que as entradas de registro correspondam ao filtro de inclusão do coletor.

    Um coletor pode conter vários filtros de exclusão. Se alguma entrada de registro corresponder a qualquer um dos filtros, a entrada de registro será excluída do roteamento.

  • Destino: um lugar para enviar as entradas de registro correspondentes ao filtro. Veja a seguir os nomes dos destinos compatíveis:

    • Buckets do Cloud Storage: storage.googleapis.com/BUCKET_ID

    • Conjuntos de dados do BigQuery: bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID

    • Tópicos do Pub/Sub: pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID

    • Buckets de geração de registros: logging.googleapis.com/projects/PROJECT_ID/locations/REGION/buckets/BUCKET_ID

    No Explorador de registros, também é possível especificar uma opção Destino personalizado ao criar um coletor para enviar o registros de um projeto do Cloud para um destino em outro projeto do Cloud.

    É possível rotear registros para destinos em qualquer projeto do Cloud se o destino autorizar a conta de serviço do coletor como gravador.

  • Identidade do gravador: um nome da conta do serviço. O proprietário do destino precisa conceder permissão a essa conta de serviço para gravar no destino. Ao rotear registros, o Logging adota essa identidade para fins de autorização. Para aumentar a segurança, novos coletores recebem uma conta de serviço exclusiva:

    GENERATED_ID_1@GENERATED_ID_2.iam.gserviceaccount.com

    Para mais informações, consulte permissões de destino.

  • includeChildren: essa propriedade é descrita em Coletores agregados. Ela é relevante apenas para coletores criados para organizações, pastas ou contas de faturamento.

Para mais detalhes sobre coletores, consulte o tipo LogSink.

Controle de acesso

Para criar ou modificar um coletor, você precisa ter os papéis de Gerenciamento de identidade e acesso Proprietário ou Gravador de configuração de registros/geração de registros no recurso pai do coletor. Para visualizar os coletores existentes, você precisa ter os papéis IAM de Visualizador ou Visualizador de registros/geração de registros no recurso pai do coletor. Para mais informações, consulte Controle de acesso.

Para rotear os registros para um destino, a conta de serviço do gravador do coletor precisa ter permissão para gravar no destino. Para mais informações sobre identidades de gravador, leia Propriedades de coletor nesta página.

Preços

O Cloud Logging não cobra para rotear registros, mas cobranças de destino podem ser aplicadas. Para detalhes, consulte os detalhes de preços do serviço apropriado:

Observe também que, se você enviar e depois excluir seus registros de fluxo da nuvem privada virtual (VPC, na sigla em inglês) do Cloud Logging, as cobranças de geração de registros de fluxo da VPC serão aplicadas além das cobranças de destino.

Próximas etapas

Encaminhar seus registros

Para saber como criar e gerenciar coletores para rotear os registros, consulte as seguintes páginas:

Para instruções sobre como rotear seus registros, consulte os seguintes documentos:

Encontrar e usar seus registros

Para saber mais sobre o formato das entradas de registro roteadas e como os registros são organizados nos destinos, consulte Como localizar os registros roteados.

Analise os cenários de roteamento do Logging

Os tutoriais a seguir descrevem cenários para os quais você quer rotear registros. Cada tutorial detalha os requisitos, a configuração e o uso e mostra como compartilhar os registros roteados.