Visão geral das exportações de registros

Nesta página, fornecemos uma visão geral conceitual dos coletores de exportação, que controlam como o Cloud Logging roteia os registros.

Ao usar coletores, é possível rotear alguns ou todos os registros para destinos compatíveis ou excluir entradas de registro do armazenamento no Cloud Logging. Talvez você queira controlar como seus registros são roteados pelos seguintes motivos:

  • Para armazenar registros que provavelmente não serão lidos, mas que precisam ser retidos para fins de conformidade.
  • Para ferramentas de análise de Big Data nos registros.
  • Para transmitir os registros para outros aplicativos, outros repositórios ou terceiros.

Como funcionam os coletores

Todas as entradas de registro gravadas na API Cloud Logging passam pelo roteador de registros. Toda vez que uma entrada de registro chega em um projeto, pasta, conta de faturamento ou recurso da organização do Cloud, o Logging a compara com os filtros dos coletores associados ao recurso.

Dependendo da configuração do coletor de registros, que inclui filtros e um destino, cada entrada de registro recebida pelo Cloud Logging se enquadra em uma ou mais destas categorias:

  • Armazenado no Cloud Logging e não roteado em outro lugar
  • Armazenado no Cloud Logging e roteado para um destino compatível
  • Não armazenado no Cloud Logging, mas roteado para um destino compatível
  • Nem armazenadas no Cloud Logging nem roteados em outro lugar
    • Esses registros são totalmente excluídos

O Cloud Logging fornece dois coletores de registro predefinidos para cada projeto do Google Cloud: _Required e _Default. Todos os registros gerados em um projeto do Google Cloud são processados automaticamente por meio desses dois coletores de registros e, em seguida, armazenados nos nomes correspondentes._Required quanto_Default buckets de registro para começar.

Os coletores de registro funcionam independentemente um do outro. Independentemente de como os coletores de registro predefinidos processam suas entradas de registro, é possível criar coletores para encaminhar alguns ou todos os registros para vários destinos compatíveis ou se quiser excluí-los completamente do Cloud Logging.

Os coletores geralmente são criados em projetos do Google Cloud. Para configurar coletores nos níveis de organização, pasta ou conta de faturamento, use coletores agregados.

Para mais detalhes sobre como os registros de rota dos coletores são encaminhados, consulte a Visão geral do roteador de registros.

.

Destinos possíveis

Os registros de roteamento envolvem a criação de um coletor com um filtro que seleciona as entradas de registro que você quer rotear e a escolha de um destino nas opções a seguir:

  • Cloud Storage: arquivos JSON armazenados nos buckets do Cloud Storage; fornece armazenamento de baixo custo e de longo prazo.
  • BigQuery: tabelas criadas em conjuntos de dados do BigQuery. fornece recursos de análise de Big Data.
  • Pub/Sub: mensagens formatadas em JSON entregues a tópicos do Pub/Sub oferece suporte a integrações de terceiros, como o Splunk, com o Logging.
  • Cloud Logging: entradas de registro armazenadas em buckets de registro. Fornece armazenamento no Cloud Logging com períodos de retenção personalizáveis.

Propriedades e terminologia de coletores

Os coletores têm várias propriedades, incluindo os filtros mencionados acima e um destino:

  • Identificador do coletor: um nome para o coletor. Por exemplo, my-vm-error-sink

  • Recurso pai: o recurso do Google Cloud em que você cria o coletor. O pai pode ser qualquer um dos seguintes:

    • projects/PROJECT_ID
    • folders/FOLDER_ID
    • billingAccounts/BILLING_ACCOUNT_ID
    • organizations/ORGANIZATION_ID

    Os coletores monitoram os registros que pertencem ao recurso pai. Você também pode usar coletores agregados para combinar e rotear registros de todos os projetos, pastas e contas de faturamento de uma organização do Google Cloud.

    O nome completo do recurso de um coletor inclui o recurso pai e o identificador do coletor. Exemplo:

    projects/PROJECT_ID/sinks/SINK_ID

  • Filtro de inclusão: seleciona quais entradas de registro devem ser roteadas pelo coletor. Para exemplos de filtro de inclusão, consulte Consultas de exemplo.

  • Filtro de exclusão: seleciona quais entradas de registro serão excluídas explicitamente do roteamento, mesmo que as entradas de registro correspondam ao filtro de inclusão do coletor.

    Um coletor pode conter vários filtros de exclusão. Se alguma entrada de registro corresponder a um dos filtros, a entrada de registro será excluída do roteamento.

  • Destino: um lugar para enviar as entradas de registro correspondentes ao filtro. Veja a seguir os nomes dos destinos compatíveis:

    • Buckets do Cloud Storage: storage.googleapis.com/BUCKET_ID

    • Conjuntos de dados do BigQuery: bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID

    • Tópicos do Pub/Sub: pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID

    • buckets de registro do Logging: logging.googleapis.com/projects/PROJECT_ID/locations/REGION/buckets/BUCKET_ID

    No Explorador de registros, também é possível especificar uma opção de destino personalizado ao criar um coletor para enviar seu de um projeto do Cloud para um destino em outro projeto do Cloud.

    É possível rotear os registros para destinos em qualquer projeto do Cloud, se o destino autorizar a conta de serviço do coletor como gravador.

  • Identidade do gravador: um nome de conta de serviço. O proprietário do destino precisa conceder permissão a essa conta de serviço para gravar no destino. Ao rotear registros, o Logging adota essa identidade para fins de autorização. Para aumentar a segurança, os novos coletores recebem uma conta de serviço exclusiva:

    GENERATED_ID_1@GENERATED_ID_2.iam.gserviceaccount.com

    Para mais informações, consulte permissões de destino.

  • includeChildren: essa propriedade é descrita em Coletores agregados. Ela é relevante somente para coletores criados para organizações, pastas ou contas de faturamento.

Para mais detalhes sobre coletores, consulte o tipo LogSink.

Controle de acesso

Para criar ou modificar um coletor, é preciso ter os papéis de Proprietário ou Gravador de configuração de registros/geração de registros no recurso pai do coletor. Para visualizar os coletores existentes, é preciso ter os papéis IAM de Visualizador ou Visualizador de registros no recurso pai do coletor. Para mais informações, consulte Controle de acesso.

Para rotear registros para um destino, a conta de serviço do gravador do coletor precisa ter permissão para gravar no destino. Para mais informações sobre identidades de gravador, leia Propriedades de coletor nesta página.

Preços

O Cloud Logging não cobra pelos registros de rota, mas está sujeito a cobranças de destino. Para detalhes, consulte os detalhes de preços do serviço apropriado:

Observe também que, se você enviar e excluir seus registros de fluxo de nuvem privada virtual do Cloud Logging, cobranças de geração de registros de fluxo VPC serão aplicadas além das taxas de destino.

Próximas etapas

Encaminhar seus registros

Para saber como criar e gerenciar coletores para encaminhar seus registros, consulte as seguintes páginas:

Encontrar e usar os registros

Para mais sobre o formato das entradas de registro roteadas e como os registros são organizados em destinos, consulte Como usar registros exportados.

Cenários de roteamento do Logging

Os tutoriais a seguir descrevem cenários em que você talvez queira rotear registros. Todos os tutoriais detalham os requisitos, a configuração e o uso, além de mostrar como compartilhar os registros roteados.