Visão geral das exportações de registros

Nesta página, apresentamos uma visão geral conceitual da exportação de registros com o Cloud Logging.

Para instruções sobre como exportar os registros, acesse Próximas etapas nesta página.

É possível exportar alguns ou todos os registros para vários destinos de coletor. Você pode exportar registros pelas seguintes razões:

  • Para armazenar registros por períodos prolongados. O Logging normalmente mantém os registros por semanas, e não por anos. Para mais informações, acesse Períodos de armazenamento de registros.
  • Para ferramentas de análise de Big Data nos registros.
  • Para transmitir os registros para outros aplicativos, outros repositórios ou terceiros.

Para explorar ainda mais os cenários comuns de exportação de registros, consulte Padrões de design de exportação para o Cloud Logging: cenários de exportação de registros.

Como funcionam as exportações

O diagrama a seguir ilustra como o Cloud Logging trata as entradas de registro exportadas:

Figura ilustrando como o Cloud Logging encaminha entradas de registros.

Todos os registros, incluindo registros de auditoria, de plataforma e de usuário, são enviados à API Cloud Logging, local em que passam pelo roteador de registros. O roteador de registros verifica cada entrada de registro em relação às regras atuais para determinar quais entradas precisam ser armazenadas, ser incluídas nas exportações e ser descartadas. Para mais detalhes, consulte a Visão geral do roteador de registros.

A exportação envolve a gravação de um filtro que seleciona as entradas de registro que você quer exportar, bem como a seleção de destino no Cloud Storage, BigQuery, Pub/Sub ou Cloud Logging. O filtro e o destino são mantidos em um objeto chamado coletor. É possível criar coletores em projetos, organizações, pastas e contas de faturamento do Google Cloud.

Propriedades e terminologia de coletores

Os coletores têm as seguintes propriedades:

  • Identificador do coletor: um nome para o coletor. Por exemplo, my-vm-error-sink;

  • Recurso pai: o recurso em que o coletor é criado. Normalmente, o pai é um projeto, mas também pode ser:

    "projects/[PROJECT_ID]"
    "folders/[FOLDER_ID]"
    "billingAccounts/[BILLING_ACCOUNT_ID]"
    "organizations/[ORGANIZATION_ID]"
    

    O coletor só pode exportar registros que pertençam ao recurso pai dele. Para conhecer a única exceção a essa regra, veja a propriedade Exportações agregadas a seguir.

    O nome completo do recurso de um coletor inclui o recurso pai e o identificador do coletor. Exemplo:

    "projects/[PROJECT_ID]/sinks/[SINK_ID]"
    
  • Filtro de registros: seleciona as entradas de registro a serem exportadas por meio do coletor. Para exemplos de filtro, acesse as consultas de amostra.

  • Destino: um único local para enviar as entradas de registro correspondentes ao filtro. Veja a seguir os destinos compatíveis:

    • buckets do Cloud Storage fornecem armazenamento barato e de longo prazo:

      storage.googleapis.com/[BUCKET_ID]
      
    • Conjuntos de dados do BigQuery fornecem recursos de análise do Big Data:

      bigquery.googleapis.com/projects/[PROJECT_ID]/datasets/[DATASET_ID]
      
    • Tópicos do Pub/Sub transmitem as entradas de registro para outros aplicativos ou repositórios.

      pubsub.googleapis.com/projects/[PROJECT_ID]/topics/[TOPIC_ID]
      
    • Os buckets do Logging fornecem armazenamento com períodos de armazenamento personalizáveis:

      logging.googleapis.com/projects/[PROJECT_ID]/locations/[REGION]/buckets/[BUCKET_ID]
      

    No Visualizador de registros, use também a opção Destino personalizado durante a criação de uma exportação para enviar os registros de um projeto para um destino em outro projeto. Para mais informações, acesse Como criar coletores.

    É possível exportar registros para destinos em qualquer projeto, desde que o destino da exportação autorize a conta de serviço do coletor como gravador.

  • Identidade do gravador: um nome da conta do serviço. O proprietário do destino de exportação precisa conceder permissão a essa conta de serviço para gravar no destino. Ao exportar registros, o Logging adota essa identidade para fins de autorização. Para aumentar a segurança, novos coletores recebem uma conta de serviço exclusiva:

    [GENERATED_ID_1]@[GENERATED_ID_2].iam.gserviceaccount.com
    

    Para mais informações, acesse permissões de destino.

  • Exportações agregadas. A propriedade includeChildren é descrita em Exportações agregadas. Só é relevante para coletores criados para organizações ou pastas.

Para mais detalhes sobre coletores, consulte o tipo LogSink, o método da API projects.sinks.create e Como exportar registros na API.

Como funcionam os coletores

Toda vez que uma entrada de registro chega em um projeto, pasta, conta de faturamento ou recurso da organização, o Logging a compara com os coletores no mesmo recurso. Cada coletor com um filtro que corresponde à entrada de registro grava uma cópia da entrada de registro no destino do coletor.

Controle de acesso

Para criar ou modificar um coletor, é preciso ter os papéis de Proprietário ou Gravador de configuração de registros/geração de registros no recurso pai do coletor. Para visualizar os coletores existentes, é preciso ter os papéis IAM de Visualizador ou Visualizador de registros no recurso pai do coletor. Para mais informações, acesse Controle de acesso.

Para exportar registros para um destino, a conta de serviço do gravador do coletor precisa ter autorização para gravar no destino. Para mais informações sobre identidades de gravador, leia Propriedades de coletor nesta página.

Preços

O Cloud Logging não cobra pela exportação de registros, mas as taxas de destino podem ser aplicadas. Para detalhes, consulte a página de preços do produto apropriado:

Observe também que, se você enviar e excluir os registros de fluxo da nuvem privada virtual do Cloud Logging, cobranças de geração de registros de fluxo da VPC serão aplicadas além das taxas de destino.

A seguir

Exportar seus registros

Para aprender a exportar registros, consulte as seguintes páginas:

Encontrar e usar os registros exportados

Para mais sobre o formato das entradas de registro exportadas e como os registros exportados são organizados nos destinos, acesse Como usar os registros exportados.

Explorar cenários de exportação do Logging

Os tutoriais a seguir descrevem cenários em que você talvez queira exportar registros. Todos os tutoriais detalham os requisitos, a configuração e o uso, além de mostrar como compartilhar as exportações.