Nesta página, apresentamos uma visão geral conceitual da exportação de registros com o Cloud Logging.
Para instruções sobre como exportar os registros, acesse Próximas etapas nesta página.
É possível exportar alguns ou todos os registros para vários destinos de coletor. Você pode exportar registros pelas seguintes razões:
- Para armazenar registros que provavelmente não serão lidos, mas que precisam ser retidos para fins de conformidade.
- Para ferramentas de análise de Big Data nos registros.
- Para transmitir os registros para outros aplicativos, outros repositórios ou terceiros.
Para explorar ainda mais os cenários comuns de exportação de registros, consulte Padrões de design de exportação para o Cloud Logging: cenários de exportação de registros.
Como funcionam as exportações
O diagrama a seguir ilustra como o Cloud Logging trata as entradas de registro exportadas:
Todos os registros, incluindo registros de auditoria, de plataforma e de usuário, são enviados à API Cloud Logging, local em que passam pelo roteador de registros. O roteador de registros verifica cada entrada de registro em relação às regras atuais para determinar quais entradas precisam ser armazenadas, ser incluídas nas exportações e ser descartadas. Para mais detalhes, consulte a Visão geral do roteador de registros.
A exportação envolve a gravação de um filtro que seleciona as entradas de registro que você quer exportar, bem como a seleção de um destino entre as seguintes opções:
- Cloud Storage: arquivos JSON armazenados nos buckets do Cloud Storage.
- BigQuery: tabelas criadas em conjuntos de dados do BigQuery.
- Pub/Sub: mensagens JSON entregues aos tópicos do Pub/Sub. Compatível com integrações de terceiros, como o Splunk, com o Logging.
- Outro projeto do Google Cloud: entradas de registro em buckets de registros do Cloud Logging.
O filtro e o destino são mantidos em um objeto chamado coletor. É possível criar coletores em projetos, organizações, pastas e contas de faturamento do Google Cloud.
Propriedades e terminologia de coletores
Os coletores têm as seguintes propriedades:
Identificador do coletor: um nome para o coletor. Por exemplo,
my-vm-error-sink
;Recurso pai: o recurso em que o coletor é criado. Normalmente, o pai é um projeto, mas também pode ser:
"projects/[PROJECT_ID]" "folders/[FOLDER_ID]" "billingAccounts/[BILLING_ACCOUNT_ID]" "organizations/[ORGANIZATION_ID]"
O coletor só pode exportar registros que pertençam ao recurso pai dele. Para conhecer a única exceção a essa regra, veja a propriedade Exportações agregadas a seguir.
O nome completo do recurso de um coletor inclui o recurso pai e o identificador do coletor. Por exemplo:
"projects/[PROJECT_ID]/sinks/[SINK_ID]"
Filtro de registros: seleciona as entradas de registro a serem exportadas por meio do coletor. Para exemplos de filtro, acesse as consultas de amostra.
Destino: um único local para enviar as entradas de registro correspondentes ao filtro. Veja a seguir os destinos compatíveis:
buckets do Cloud Storage fornecem armazenamento barato e de longo prazo:
storage.googleapis.com/[BUCKET_ID]
Conjuntos de dados do BigQuery fornecem recursos de análise do Big Data:
bigquery.googleapis.com/projects/[PROJECT_ID]/datasets/[DATASET_ID]
Tópicos do Pub/Sub transmitem as entradas de registro para outros aplicativos ou repositórios.
pubsub.googleapis.com/projects/[PROJECT_ID]/topics/[TOPIC_ID]
Os buckets de registro do Logging fornecem armazenamento com períodos de armazenamento personalizáveis:
logging.googleapis.com/projects/[PROJECT_ID]/locations/[REGION]/buckets/[BUCKET_ID]
No Explorador de registros, use também a opção Destino personalizado durante a criação de uma exportação para enviar os registros de um projeto para um destino em outro projeto. Para mais informações, acesse Como criar coletores.
É possível exportar registros para destinos em qualquer projeto, desde que o destino da exportação autorize a conta de serviço do coletor como gravador.
Identidade do gravador: um nome da conta do serviço. O proprietário do destino de exportação precisa conceder permissão a essa conta de serviço para gravar no destino. Ao exportar registros, o Logging adota essa identidade para fins de autorização. Para aumentar a segurança, novos coletores recebem uma conta de serviço exclusiva:
[GENERATED_ID_1]@[GENERATED_ID_2].iam.gserviceaccount.com
Para mais informações, acesse permissões de destino.
Exportações agregadas. A propriedade
includeChildren
é descrita em Exportações agregadas. Só é relevante para coletores criados para organizações ou pastas.
Para mais detalhes sobre coletores, consulte o tipo LogSink, o método da API projects.sinks.create e Como exportar registros com a API.
Como funcionam os coletores
Toda vez que uma entrada de registro chega em um projeto, pasta, conta de faturamento ou recurso da organização, o Logging a compara com os coletores no mesmo recurso. Cada coletor com um filtro que corresponde à entrada de registro grava uma cópia da entrada de registro no destino do coletor.
Controle de acesso
Para criar ou modificar um coletor, é preciso ter os papéis de Proprietário ou Gravador de configuração de registros/geração de registros no recurso pai do coletor. Para visualizar os coletores existentes, é preciso ter os papéis IAM de Visualizador ou Visualizador de registros no recurso pai do coletor. Para mais informações, acesse Controle de acesso.
Para exportar registros para um destino, a conta de serviço do gravador do coletor precisa ter autorização para gravar no destino. Para mais informações sobre identidades de gravador, leia Propriedades de coletor nesta página.
Preços
O Cloud Logging não cobra pela exportação de registros, mas as taxas de destino podem ser aplicadas. Para detalhes, consulte a página de preços do produto apropriado:
Observe também que, se você enviar e excluir os registros de fluxo da nuvem privada virtual do Cloud Logging, cobranças de geração de registros de fluxo da VPC serão aplicadas além das taxas de destino.
A seguir
Exportar seus registros
Para aprender a exportar registros, consulte as seguintes páginas:
- Para usar o roteador de registros, acesse Como exportar com o roteador de registros.
- Para a API Logging, acesse Como exportar registros na API.
- Para a ferramenta de linha de comando
gcloud
, acesse gcloud logging.
Encontrar e usar os registros exportados
Para mais sobre o formato das entradas de registro exportadas e como os registros exportados são organizados nos destinos, acesse Como usar os registros exportados.
Explorar cenários de exportação do Logging
Os tutoriais a seguir descrevem cenários em que você talvez queira exportar registros. Todos os tutoriais detalham os requisitos, a configuração e o uso, além de mostrar como compartilhar as exportações.
- Cenário – exportar para requisitos de compliance
- Cenário: exportar para análise de segurança e acesso
- Cenário: exportar para o Splunk
- Cenário: exportar para o Elasticsearch