Guia do usuário para gerenciamento de feeds

Visão geral e pré-requisitos

O gerenciamento de feeds do Chronicle permite criar e gerenciar feeds de dados na sua conta do Chronicle. A UI de gerenciamento de feeds é criada com base na API de gerenciamento de feeds. Consulte a documentação da API de gerenciamento de feeds para mais informações.

Cada feed de dados tem o próprio conjunto de pré-requisitos que precisam ser concluídos antes da configuração do feed no Chronicle. Esses pré-requisitos são descritos na seção Configuração do feed por tipo da documentação da API de gerenciamento de feed. Pesquise o tipo de feed de dados que você precisa configurar e siga as instruções.

Excluir arquivos de origem

Como mencionado na seção Visão geral, tipos diferentes de feeds têm pré-requisitos diferentes.

Para vários tipos de feed, incluindo o Cloud Storage, há um campo no fluxo de trabalho Adicionar novo ou Editar feed chamado OPÇÃO DE EXCLUSÃO DE ORIGEM. É um menu suspenso com três opções:

  1. Nunca excluir arquivos
  2. Excluir arquivos transferidos e diretórios vazios
  3. Excluir arquivos transferidos

As opções 2 e 3 envolvem exclusões: uma para arquivos e outra para arquivos E diretórios vazios. Se você selecionar uma dessas opções, precisará adicionar as permissões específicas para seu tipo de feed, que podem ser encontradas na seção Configuração do feed por tipo da documentação da API de gerenciamento de feeds.

Essa opção permite excluir um objeto do sistema de armazenamento depois de transferi-lo. Os feeds sempre lembram quais objetos (ou arquivos) foram transferidos e nunca transferem o mesmo arquivo duas vezes (a menos que ele tenha sido atualizado), mas você precisa definir essa opção se quiser que o sistema exclua o objeto de origem depois da transferência.

O Microsoft Azure Blob Storage não oferece suporte à exclusão de arquivos de origem. As opções de exclusão de origem a seguir não podem ser usadas com o tipo de origem do Armazenamento de Blobs do Microsoft Azure:

  • Excluir arquivos transferidos e diretórios vazios
  • Excluir arquivos transferidos

Ao criar um feed com a origem do Armazenamento de Blobs do Microsoft Azure, selecione apenas a opção Nunca excluir arquivos.

Criação e edição de feeds

Para acessar a interface de Gerenciamento de feed, siga estas etapas:

  1. Na barra de navegação, clique em Configurações.

  2. Em Configurações, selecione Feeds.

Os feeds de dados listados nesta página incluem todos os feeds que o Google configurou para sua conta, além daqueles configurados por você.

Adicionar um feed

Para adicionar um feed à sua conta do Chronicle, conclua as etapas a seguir. Conclua os pré-requisitos para o tipo de feed de dados que você planeja incluir antes de tentar adicionar um novo feed aqui. Consulte a seção Visão geral e pré-requisitos para mais informações.

Você pode adicionar até cinco feeds para cada tipo de registro.

  1. Clique em Add New. A janela ADICIONAR FEED é exibida.

  2. Na guia Definir propriedades, selecione o TIPO DE ORIGEM no menu suspenso. O tipo de origem é o mecanismo pelo qual você pretende transferir os dados para o Chronicle. Você pode escolher entre os seguintes tipos de fontes de feed:

    • Amazon S3
    • Amazon SQS
    • Google Cloud Storage
    • Arquivos HTTP(S) (sem API)
    • Armazenamento de blobs do Microsoft Azure
    • API de terceiros

  3. Selecione o Tipo de registro no menu suspenso. Os registros disponíveis variam dependendo do tipo de origem selecionado anteriormente. Clique em Próximo.

    Se você selecionar o Google Cloud Storage como o tipo de origem, use a opção Ver conta de serviço para receber uma conta de serviço exclusiva. Neste documento, consulte o Exemplo de configuração do feed do Google Cloud Storage.

    Seleção do tipo de registro

    Figura 2. Seleção do tipo de registro

  4. Especifique os parâmetros necessários na guia Parâmetros de entrada. As opções apresentadas aqui variam de acordo com a origem e o tipo de registro selecionado na guia Definir propriedades. Mantenha o ponteiro do mouse sobre o ícone de interrogação de cada campo para saber mais sobre o que é preciso fornecer.

  5. (Opcional) É possível especificar um namespace aqui. Para mais informações sobre namespaces, consulte a documentação do namespace de recursos.

  6. Clique em Próxima.

  7. Revise a configuração do novo feed na guia Finalizar. Clique em Enviar quando estiver tudo pronto. O Chronicle conclui uma verificação de validação do novo feed. Se o feed for aprovado, um nome será gerado para ele e enviado ao Chronicle, que começará a tentar buscar dados.

    Finalizar solicitação de feed

    Figura 4. finalizar a solicitação do feed

Exemplo de configuração do feed do Google Cloud Storage

  1. No menu do Chronicle, selecione Settings e clique em Feeds.
  2. Clique em Add New.
  3. Selecione Google Cloud Storage em Tipo de origem.
  4. Selecione o Tipo de registro. Por exemplo, para criar um feed para registros de auditoria do Google Kubernetes Engine, selecione Registros de auditoria do Google Kubernetes Engine como o Tipo de registro.
  5. Clique em Ver conta de serviço. O Chronicle fornece uma conta de serviço exclusiva usada para ingerir dados.
  6. Configure o acesso da conta de serviço para acessar os objetos do Cloud Storage. Neste documento, consulte Conceder acesso à conta de serviço do Chronicle.
  7. Clique em Próxima.
  8. Com base na configuração do Cloud Storage que você criou, especifique valores para os seguintes campos:
    • URI do bucket de armazenamento
    • O URI é um
    • Opção de exclusão de origem
  9. Clique em Próximo e em Enviar.

Conceder acesso à conta de serviço do Chronicle

  1. No console do Google Cloud, acesse a página Buckets do Cloud Storage.

    Acessar buckets

  2. Conceda acesso à conta de serviço aos objetos relevantes do Cloud Storage.

    • Para conceder permissão de leitura a um arquivo específico, siga estas etapas:

      1. Selecione o arquivo e clique em Editar acesso.
      2. Clique em Adicionar principal.
      3. No campo Novos principais, digite o nome da conta de serviço do Chronicle.
      4. Atribua um papel que contenha a permissão de leitura à conta de serviço do Chronicle. Por exemplo, Leitor de objetos do Storage (roles/storage.objectViewer). Isso só poderá ser feito se o acesso uniforme no nível do bucket não estiver ativado.
      5. Clique em Salvar.

    • Para conceder permissão de leitura a vários arquivos, você precisa conceder acesso no nível do bucket. Adicione a conta de serviço do Chronicle como principal ao bucket de armazenamento e conceda a ela o papel Leitor de objetos do Storage (roles/storage.objectViewer) do IAM.

      Se você configurar o feed para excluir arquivos de origem, será preciso adicionar a conta de serviço do Chronicle como principal ao bucket e conceder a ela o papel Administrador de objetos do Storage (roles/storage.objectAdmin) do IAM.

Configurar o VPC Service Controls

Se o VPC Service Controls estiver ativado, será necessária uma regra de entrada para fornecer acesso ao bucket do Cloud Storage.

Os seguintes métodos do Cloud Storage precisam ser permitidos na regra de entrada:

  • google.storage.objects.list: obrigatório para um único feed de arquivo.
  • google.storage.objects.get: obrigatório para feeds que exigem acesso a diretórios ou subdiretórios.
  • google.storage.objects.delete: obrigatório para feeds que exigem a exclusão do arquivo de origem.

Exemplo de regra de entrada

- ingressFrom:
  identities:
    - serviceAccount:8911409095528497-0-account@partnercontent.gserviceaccount.com
  sources:
  - accessLevel: "*"
  ingressTo:
  operations:
  - serviceName: storage.googleapis.com
    methodSelectors:
    - method: google.storage.objects.list
    - method: google.storage.objects.get
    - method: google.storage.objects.delete
  resources:
  - projects/PROJECT_ID

Status do feed

Você pode monitorar o status do feed na página inicial Feeds. Os feeds podem ter os seguintes status:

  • Ativo: o feed está configurado e pronto para ingerir dados na sua conta do Chronicle.
  • Em andamento: o Chronicle agora está tentando extrair dados do terceiro configurado.
  • Concluído: os dados foram recuperados por este feed.
  • Arquivado: feed desativado.
  • Falha: o feed não conseguiu buscar os dados. Isso provavelmente se deve a um problema de configuração. Clique na pergunta para exibir o erro de configuração. Depois de corrigir o erro e reenviar o feed, volte à página Feeds para determinar se o feed está funcionando ou não.

Editar feeds

Na página Feeds, você pode editar um feed existente:

  1. Mantenha o ponteiro do mouse sobre um feed existente e clique no menu de três pontos na coluna da direita.

  2. Clique em Editar feed. Agora você pode alterar os parâmetros de entrada do feed e enviá-lo novamente ao Chronicle. O Chronicle tentará usar o feed editado.

Ativar e desativar feeds

Na coluna Status, os feeds ativados são marcados como Ativo, Em andamento, Concluído ou Com falha. Os campos desativados são identificados como Arquivados. Para ver uma descrição, consulte o status do feed.

Na página Feeds, é possível ativar ou desativar qualquer um dos feeds existentes:

  1. Mantenha o ponteiro do mouse sobre um feed existente e clique no menu de três pontos na coluna da direita.

  2. Para ativar um feed, clique no botão Ativar feed.

  3. Para desativar um feed, clique no botão Desativar feed. O feed agora tem o rótulo Arquivado.

Excluir feeds

Na página Feeds, você também pode excluir um feed existente:

  1. Mantenha o ponteiro do mouse sobre um feed existente e clique no menu de três pontos na coluna da direita.

  2. Clique em Excluir feed. A janela "EXCLUIR FEED" será aberta. Para excluir o feed permanentemente, clique em Sim, excluir.

Controlar a taxa de ingestão

Quando a taxa de ingestão de dados de um locatário atinge um determinado limite, o Chronicle restringe a taxa de ingestão de novos feeds de dados para evitar que uma fonte com uma alta taxa de ingestão afete a taxa de ingestão de outra fonte.

Os feeds que ingerem dados a uma taxa maior que o limite são restritos, resultando em atraso na ingestão. Quando a taxa de ingestão de feed é restrita, os dados em excesso ficam na fila para serem ingeridos. Assim, há um atraso, mas nenhum dado é perdido.

O volume de ingestão e o histórico de uso do locatário determinam o limite. Se a taxa de ingestão não tiver um grande desvio, não haverá efeito na taxa de ingestão.