Criar e gerenciar feeds usando a UI de gerenciamento de feeds

Compatível com:

Esta página contém informações sobre como criar, gerenciar e resolver problemas de feeds usando a UI de gerenciamento de feeds. O gerenciamento dos feeds inclui a modificação, a ativação e a exclusão deles.

Antes de começar

Cada feed de dados tem um conjunto de pré-requisitos que precisa ser concluído antes de configurar o feed nas Operações de segurança do Google. Para informações sobre pré-requisitos específicos de um tipo de feed, consulte Configuração por tipo de origem. Pesquise o tipo de feed de dados que você precisa configurar e siga as instruções fornecidas.

Formatos de compactação aceitos

Os formatos de compactação aceitos para transferência de feeds incluem: .gz, .tar.gz, .tar, .targz e solr.gz.

Adicionar um feed

Para adicionar um feed à sua conta do Google Security Operations, siga estas etapas.

  1. No menu "Google Security Operations", selecione Configurações e clique em Feeds. Os feeds de dados listados nesta página incluem todos os feeds que o Google configurou para sua conta, além dos que você configurou.

  2. Clique em Add New. A janela Add feed será exibida.

  3. Adicione um nome ao feed.

  1. Na lista Tipo de origem, selecione o tipo de origem que você quer usar para enviar dados ao Google Security Operations. Você pode escolher entre os seguintes tipos de origem de feed:

    • Amazon Data Firehose
    • Amazon S3
    • Amazon SQS
    • Google Cloud Pub/Sub
    • Google Cloud Storage
    • Arquivos HTTP(S) (não API)
    • Armazenamento de Blobs do Microsoft Azure
    • API de terceiros
    • Webhook
  2. Na lista Tipo de registro, selecione o tipo correspondente aos registros que você quer importar. Os registros disponíveis variam de acordo com o tipo de origem selecionado anteriormente. Clique em Próximo.

    Se você selecionar Google Cloud Storage como o tipo de origem, use a opção Get service account para receber uma conta de serviço exclusiva. Neste documento, consulte o exemplo de configuração do feed do Google Cloud Storage.

  3. Especifique os parâmetros necessários na guia Parâmetros de entrada. As opções apresentadas aqui variam de acordo com a origem e o tipo de registro selecionados na guia Definir propriedades. Mantenha o cursor sobre o ícone de ponto de interrogação de cada campo para saber mais sobre o que você precisa fornecer.

  4. (Opcional) É possível especificar um namespace aqui. Para mais informações sobre namespaces, consulte a documentação do namespace de recursos.

  5. Clique em Próxima.

  6. Revise a configuração do novo feed na guia Finalizar. Clique em Enviar quando estiver tudo pronto. O Google Security Operations conclui uma verificação de validação do novo feed. Se o feed passar na verificação, um nome será gerado para ele, que será enviado ao Google Security Operations, que vai começar a tentar buscar dados.

    Finalizar a solicitação de feed

Excluir arquivos de origem

Para vários tipos de feed, incluindo o Cloud Storage, há um campo no fluxo de trabalho Adicionar novo ou Editar feed chamado OPÇÃO DE EXCLUSÃO DA FONTE. Esse menu tem três opções:

  1. Nunca excluir arquivos
  2. Excluir arquivos transferidos e diretórios vazios
  3. Excluir arquivos transferidos

As opções 2 e 3 envolvem exclusões: uma para arquivos e outra para arquivos e diretórios vazios. Se você selecionar uma dessas opções, precisará adicionar as permissões específicas ao seu tipo de feed. Para informações sobre permissões específicas de um tipo de feed, consulte Configuração por tipo de origem.

Essa opção permite excluir um objeto do sistema de armazenamento depois de transferi-lo. Os feeds sempre lembram quais objetos (ou arquivos) foram transferidos e nunca transferem o mesmo arquivo duas vezes (a menos que ele tenha sido atualizado). No entanto, você precisa definir essa opção se quiser que o sistema exclua o objeto de origem depois que ele for transferido.

O Armazenamento de Blobs do Microsoft Azure não oferece suporte à exclusão de arquivos de origem. As seguintes opções de exclusão de origem não podem ser usadas com o tipo de origem do Microsoft Azure Blob Storage:

  • Excluir arquivos transferidos e diretórios vazios
  • Excluir arquivos transferidos

Ao criar um feed com a origem do Armazenamento de Blobs do Microsoft Azure, selecione apenas a opção Nunca excluir arquivos.

Configurar um feed de push do Pub/Sub

Para configurar um feed push do Pub/Sub, faça o seguinte:

  1. Crie um feed de push do Pub/Sub.
  2. Especifique o URL do endpoint em uma assinatura do Pub/Sub.

Criar um feed de push do Pub/Sub

  1. No menu "Google Security Operations", selecione Configurações e clique em Feeds.
  2. Clique em Adicionar novo.
  3. No campo Nome do feed, insira um nome para o feed.
  4. Na lista Tipo de origem, selecione Push do Google Cloud Pub/Sub.
  5. Selecione o Tipo de registro. Por exemplo, para criar um feed para o Open Cybersecurity Schema Framework, selecione Open Cybersecurity Schema Framework (OCSF) como o Tipo de registro.
  6. Clique em Próxima.
  7. Opcional: especifique valores para os seguintes parâmetros de entrada:
    • Delimitador de divisão: o delimitador usado para separar linhas de registro, como \n.
    • Namespace de recursos: o namespace de recursos.
    • Rótulos de ingestão: o rótulo a ser aplicado aos eventos desse feed.
  8. Clique em Próxima.
  9. Revise a configuração do novo feed na tela Finalizar e clique em Enviar.
  10. Na guia Detalhes, copie o URL do endpoint do feed no campo Informações do endpoint. Você precisa desse URL para criar uma assinatura de push no Pub/Sub.
  11. Para desativar o feed, clique no botão Feed ativado. O feed é ativado por padrão.
  12. Clique em Concluído.

Especificar o URL do endpoint

Depois de criar um feed de push do Pub/Sub, crie uma assinatura de push, especifique o endpoint HTTPS e ative a autenticação.

  1. Crie uma assinatura de push no Pub/Sub. Para mais informações sobre como criar uma assinatura push, consulte Criar assinaturas push.
  2. Especifique o URL do endpoint, que está disponível no feed push do Pub/Sub do Google Cloud.
  3. Selecione Ativar autenticação e selecione uma conta de serviço.

Configurar um feed do Amazon Data Firehose

Para configurar um feed do Amazon Data Firehose, faça o seguinte:

  1. Crie um feed do Amazon Data Firehose e copie o URL do endpoint e a chave secreta.
  2. Crie uma chave de API para autenticação no Google Security Operations. Também é possível reutilizar a chave de API para fazer a autenticação nas Operações de segurança do Google.
  3. Especifique o URL do endpoint no Amazon Data Firehose.

Criar um feed do Amazon Data Firehose

  1. No menu "Google Security Operations", selecione Configurações e clique em Feeds.
  2. Clique em Adicionar novo.
  3. No campo Nome do feed, insira um nome para o feed.
  4. Na lista Tipo de origem, selecione Amazon Data Firehose.
  5. Selecione o Tipo de registro. Por exemplo, para criar um feed para o Open Cybersecurity Schema Framework, selecione Open Cybersecurity Schema Framework (OCSF) como o Tipo de registro.
  6. Clique em Próxima.
  7. Opcional: especifique valores para os seguintes parâmetros de entrada:
    • Delimitador de divisão: o delimitador usado para separar linhas de registro, como \n.
    • Namespace de recursos: o namespace de recursos.
    • Rótulos de ingestão: o rótulo a ser aplicado aos eventos desse feed.
  8. Clique em Próxima.
  9. Revise a configuração do novo feed na tela Finalizar e clique em Enviar.
  10. Clique em Gerar chave secreta para gerar uma chave secreta para autenticar esse feed.
  11. Copie e armazene a chave secreta, porque não será possível acessá-la novamente. Você pode gerar uma nova chave secreta novamente, mas a regeneração da chave secreta torna a chave secreta anterior obsoleta.
  12. Na guia Detalhes, copie o URL do endpoint do feed no campo Informações do endpoint. Você vai precisar desse URL de endpoint ao especificar as configurações de destino do seu fluxo de entrega no Amazon Data Firehose.
  13. Para desativar o feed, clique no botão Feed ativado. O feed é ativado por padrão.
  14. Clique em Concluído.

Criar uma chave de API para o feed do Amazon Data Firehose

  1. Acesse a página Credenciais do console do Google Cloud.
  2. Clique em Criar credenciais e, em seguida, selecione Chave de API.
  3. Restrinja o acesso da chave de API à API Chronicle.

Especificar o URL do endpoint

No Amazon Data Firehose, especifique o endpoint HTTPS e a chave de acesso.

  1. Anexe a chave da API ao URL do endpoint do feed e especifique esse URL como o URL do endpoint HTTP no seguinte formato:

      ENDPOINT_URL?key=API_KEY
    

    Substitua:

    • ENDPOINT_URL: o URL do endpoint do feed.
    • API_KEY: a chave de API para autenticação no Google Security Operations.
  2. Para a chave de acesso, especifique a chave secreta que você recebeu ao criar o feed do Amazon Data Firehose.

Configurar um feed de webhook HTTPS

Para configurar um feed de webhook HTTPS, faça o seguinte:

  1. Crie um feed de webhook HTTPS e copie o URL do endpoint e a chave secreta.
  2. Crie uma chave de API especificada com o URL do endpoint. Também é possível reutilizar a chave de API atual para fazer a autenticação no Google Security Operations.
  3. Especifique o URL do endpoint no seu aplicativo.

Pré-requisitos

Criar um feed de webhook HTTPS

  1. No menu "Google Security Operations", selecione Configurações e clique em Feeds.
  2. Clique em Adicionar novo.
  3. No campo Nome do feed, insira um nome para o feed.
  4. Na lista Tipo de origem, selecione Webhook.
  5. Selecione o Tipo de registro. Por exemplo, para criar um feed para o Open Cybersecurity Schema Framework, selecione Open Cybersecurity Schema Framework (OCSF) como o Tipo de registro.
  6. Clique em Próxima.
  7. Opcional: especifique valores para os seguintes parâmetros de entrada:
    • Delimitador de divisão: o delimitador usado para separar linhas de registro, como \n.
    • Namespace de recursos: o namespace de recursos.
    • Rótulos de ingestão: o rótulo a ser aplicado aos eventos desse feed.
  8. Clique em Próxima.
  9. Revise a configuração do novo feed na tela Finalizar e clique em Enviar.
  10. Clique em Gerar chave secreta para gerar uma chave secreta para autenticar esse feed.
  11. Copie e armazene a chave secreta, porque não será possível acessá-la novamente. Você pode gerar uma nova chave secreta novamente, mas a regeneração da chave secreta torna a chave secreta anterior obsoleta.
  12. Na guia Detalhes, copie o URL do endpoint do feed no campo Informações do endpoint. É necessário especificar esse URL de endpoint no aplicativo cliente.
  13. Para desativar o feed, clique no botão Feed ativado. O feed é ativado por padrão.
  14. Clique em Concluído.

Criar uma chave de API para o feed de webhook

  1. Acesse a página Credenciais do console do Google Cloud.
  2. Clique em Criar credenciais e, em seguida, selecione Chave de API.
  3. Restrinja o acesso da chave de API à API Chronicle.

Especificar o URL do endpoint

  1. No aplicativo cliente, especifique o endpoint HTTPS, que está disponível no feed do webhook.
  2. Ative a autenticação especificando a chave de API e a chave secreta como parte do cabeçalho personalizado neste formato:

    X-goog-api-key = API_KEY

    X-Webhook-Access-Key = SECRET

    Recomendamos que você especifique a chave de API como um cabeçalho em vez de especificar no URL. Se o cliente do webhook não tiver suporte a cabeçalhos personalizados, especifique a chave de API e a chave secreta usando parâmetros de consulta no seguinte formato:

      ENDPOINT_URL?key=API_KEY&secret=SECRET
    

    Substitua:

    • ENDPOINT_URL: o URL do endpoint do feed.
    • API_KEY: a chave de API para autenticação no Google Security Operations.
    • SECRET: a chave secreta gerada para autenticar o feed.

Exemplo de configuração do feed do Google Cloud Storage

  1. No menu "Google Security Operations", selecione Configurações e clique em Feeds.
  2. Clique em Add New.
  3. Selecione Google Cloud Storage para Tipo de origem.
  4. Selecione o Tipo de registro. Por exemplo, para criar um feed para os registros de auditoria do Google Kubernetes Engine, selecione Registros de auditoria do Google Kubernetes Engine como Tipo de registro.
  5. Clique em Pegar conta de serviço. O Google Security Operations fornece uma conta de serviço exclusiva que ele usa para ingerir dados.
  6. Configure o acesso da conta de serviço aos objetos do Cloud Storage. Neste documento, consulte Conceder acesso à conta de serviço do Google Security Operations.
  7. Clique em Próxima.
  8. Com base na configuração do Cloud Storage que você criou, especifique os valores dos seguintes campos:
    • URI do bucket do Storage
    • O URI é um
    • Opção de exclusão da origem
  9. Clique em Próxima e em Enviar.

Conceder acesso à conta de serviço do Google Security Operations

  1. No Console do Google Cloud, acesse a página Buckets do Cloud Storage.

    Acessar buckets

  2. Conceda à conta de serviço acesso aos objetos relevantes do Cloud Storage.

    • Para conceder permissão de leitura a um arquivo específico, siga estas etapas:

      1. Selecione o arquivo e clique em Editar acesso.
      2. Clique em Adicionar principal.
      3. No campo Novos principais, insira o nome da conta de serviço das operações de segurança do Google.
      4. Atribua um papel que contenha a permissão de leitura à conta de serviço do Google Security Operations. Por exemplo, Leitor de objetos do Storage (roles/storage.objectViewer). Isso só pode ser feito se você não tiver ativado o acesso uniforme no nível do bucket.
      5. Clique em Salvar.
    • Para conceder permissão de leitura a vários arquivos, é necessário conceder acesso no nível do bucket. É necessário adicionar a conta de serviço das operações de segurança do Google como principal ao seu bucket de armazenamento e conceder a ela o papel do IAM de Leitor de objetos do Storage (roles/storage.objectViewer).

      Se você configurar o feed para excluir arquivos de origem, adicione a conta de serviço Google Security Operations como principal no bucket e conceda a ela o papel Administrador de objetos do Storage (roles/storage.objectAdmin) do IAM.

Configurar o VPC Service Controls

Se o VPC Service Controls estiver ativado, uma regra de entrada será necessária para fornecer acesso ao bucket do Cloud Storage.

Os seguintes métodos do Cloud Storage precisam ser permitidos na regra de entrada:

  • google.storage.objects.list: obrigatório para um feed de arquivo único.
  • google.storage.objects.get: obrigatório para feeds que exigem acesso a diretórios ou subdiretórios.
  • google.storage.objects.delete: obrigatório para feeds que exigem a exclusão do arquivo de origem.

Exemplo de regra de entrada

- ingressFrom:
  identities:
    - serviceAccount:8911409095528497-0-account@partnercontent.gserviceaccount.com
  sources:
  - accessLevel: "*"
  ingressTo:
  operations:
  - serviceName: storage.googleapis.com
    methodSelectors:
    - method: google.storage.objects.list
    - method: google.storage.objects.get
    - method: google.storage.objects.delete
  resources:
  - projects/PROJECT_ID

Status do feed

É possível monitorar o status do feed na página inicial Feeds. Os feeds podem ter os seguintes status:

  • Ativo: o feed está configurado e pronto para transferir dados para sua conta do Google Security Operations.
  • Em andamento: as Operações de segurança do Google estão tentando extrair dados do terceiro configurado.
  • Concluída: os dados foram recuperados pelo feed.
  • Arquivado: feed desativado.
  • Falha: o feed não consegue buscar dados. Isso provavelmente se deve a um problema de configuração. Clique na pergunta para mostrar o erro de configuração. Depois de corrigir o erro e reenviar o feed, volte à página Feeds para determinar se o feed está funcionando ou não.

Editar feeds

Na página Feeds, é possível editar um feed existente:

  1. Mantenha o cursor sobre um feed e clique em more_vert na coluna à direita.

  2. Clique em Editar feed. Agora você pode alterar os parâmetros de entrada do feed e reenviar para o Google Security Operations. O Google Security Operations vai tentar usar o feed editado.

Ativar e desativar feeds

Na coluna Status, os feeds ativados são marcados como Ativo, Em andamento, Concluído ou Falhou. Os campos desativados são rotulados como Arquivado. Para uma descrição, consulte o status do feed.

Na página Feeds, é possível ativar ou desativar qualquer um dos feeds:

  1. Mantenha o cursor sobre um feed e clique em more_vert na coluna à direita.

  2. Para ativar um feed, clique no botão Ativar feed.

  3. Para desativar um feed, clique no botão Desativar feed. O feed agora está marcado como Arquivado.

Excluir feeds

Na página Feeds, também é possível excluir um feed:

  1. Mantenha o cursor sobre um feed e clique em more_vert na coluna à direita.

  2. Clique em Excluir feed. A janela "DELETE FEED" é aberta. Para excluir o feed permanentemente, clique em Sim, excluir.

Controlar a taxa de transferência

Quando a taxa de ingestão de dados de um locatário atinge um determinado limite, as operações de segurança do Google restringem a taxa de ingestão de novos feeds de dados para evitar que uma origem com uma taxa de ingestão alta afete a taxa de outra origem de dados. Nesse caso, há um atraso, mas nenhum dado é perdido. O volume de transferência e o histórico de uso do locatário determinam o limite.

Para solicitar um aumento do limite de taxa, entre em contato com o Cloud Customer Care.

Solução de problemas

Na página Feeds, você pode conferir detalhes como tipo de origem, tipo de registro, ID do feed e status dos feeds existentes:

  1. Mantenha o cursor sobre um feed e clique em more_vert na coluna à direita.

  2. Clique em Ver feed. Uma caixa de diálogo vai aparecer mostrando os detalhes do feed. Para um feed com falha, confira os detalhes do erro em Detalhes > Status.

No caso de um feed com falha, os detalhes incluem a causa do erro e as etapas para corrigi-lo. A tabela a seguir descreve as mensagens de erro que podem aparecer ao trabalhar com feeds de dados.

Código do erro Causa Solução de problemas
ACCESS_DENIED A conta de autenticação fornecida na configuração do feed não tem as permissões necessárias. Verifique se a conta de autenticação fornecida na configuração do feed tem as permissões necessárias. Consulte a documentação de feeds para ver as permissões necessárias.
ACCESS_TOO_FREQUENT O feed falhou porque houve muitas tentativas de acesso à origem. Entre em contato com o suporte do Google Security Operations.
CONNECTION_DROPPED Uma conexão com a origem foi estabelecida, mas foi encerrada antes da conclusão do feed. Esse erro é temporário, e o aplicativo vai tentar a solicitação novamente. Se o problema persistir, entre em contato com o suporte.
CONNECTION_FAILED O aplicativo não consegue se conectar ao endereço IP e à porta de origem.

Verifique se:

  • A origem está disponível.
  • Um firewall não está bloqueando a conexão.
  • O endereço IP associado ao servidor está correto.
  • Se o problema continuar, entre em contato com o suporte da Google Security Operations.

DNS_ERROR O nome do host de origem não pode ser resolvido. O nome de host do servidor pode estar escrito incorretamente. Verifique o URL e a ortografia.
FILE_FAILED Uma conexão com a origem foi estabelecida, mas houve um problema com o arquivo ou recurso.

Verifique se:

  • O arquivo não está corrompido.
  • As permissões no nível do arquivo estão corretas.

Se o problema continuar, entre em contato com o suporte da Google Security Operations.

FILE_NOT_FOUND Uma conexão com a origem foi estabelecida, mas o arquivo ou recurso não foi encontrado.

Verifique se:

  • O arquivo existe na origem.
  • Os usuários apropriados têm acesso ao arquivo.

Se o problema continuar, entre em contato com o suporte da Google Security Operations.

GATEWAY_ERROR A API retornou um erro de gateway para a chamada feita pelo Google Security Operations. Verifique os detalhes da origem do feed. O aplicativo vai tentar fazer a solicitação novamente.
INTERNAL_ERROR Não foi possível transferir dados devido a um erro interno. Se o problema continuar, entre em contato com o suporte da Google Security Operations.
INVALID_ARGUMENT Uma conexão com a origem foi estabelecida, mas o feed falhou devido a argumentos inválidos. Verifique a configuração do feed. Consulte a documentação sobre feeds para saber como configurar feeds. Se o problema continuar, entre em contato com o suporte do Google Security Operations.
INVALID_FEED_CONFIG A configuração do feed contém valores inválidos. Verifique se há configurações incorretas no feed. Consulte a documentação de feeds para conferir a sintaxe correta.
INVALID_REMOTE_RESPONSE Uma conexão com a origem foi estabelecida, mas a resposta estava incorreta. Verifique a configuração do feed. Saiba como configurar feeds. Se o problema continuar, entre em contato com o suporte da Google Security Operations.
LOGIN_FAILED Uma conexão com a origem foi estabelecida, mas as credenciais estavam incorretas ou ausentes. Insira novamente as credenciais da origem para confirmar se estão corretas.
NO_RESPONSE Uma conexão com a origem foi estabelecida, mas ela não respondeu. Verifique se a fonte pode receber solicitações do Google Security Operations. Se o problema continuar, entre em contato com o suporte da Google Security Operations.
PERMISSION_DENIED Uma conexão com a fonte foi estabelecida, mas houve um problema de autorização. Verifique se os acessos e as permissões necessários foram adicionados.
REMOTE_SERVER_ERROR Uma conexão com a fonte foi estabelecida, mas ela não respondeu com dados. Verifique se a fonte está disponível e responde com dados. Se o problema continuar, entre em contato com o suporte da Google Security Operations.
REMOTE_SERVER_REPORTED_BAD_REQUEST Uma conexão com a origem foi estabelecida, mas ela rejeitou a solicitação. Verifique a configuração do feed. Consulte a documentação de feeds para mais detalhes. Se o problema continuar, entre em contato com o suporte do Google Security Operations.
SOCKET_READ_TIMEOUT Uma conexão com a origem foi estabelecida, mas o tempo limite expirou antes da conclusão da transferência de dados. Esse erro é temporário, e o aplicativo vai tentar a solicitação novamente. Se o problema persistir, entre em contato com o suporte da Google Security Operations.
TOO_MANY_ERRORS O feed expirou porque encontrou vários erros na origem. Entre em contato com o suporte do Google Security Operations.
TRANSIENT_INTERNAL_ERROR O feed encontrou um erro interno temporário. Esse erro é temporário, e o aplicativo vai tentar a solicitação novamente. Se o problema persistir, entre em contato com o suporte da Google Security Operations.
UNSAFE_CONNECTION O aplicativo não conseguiu fazer uma conexão porque o endereço IP estava restrito. Esse erro é temporário, e o Google Security Operations vai tentar a solicitação novamente. Se o problema persistir, entre em contato com o suporte da Google Security Operations.
HTTP_400 O feed falhou devido a uma solicitação inválida. Verifique a configuração do feed. Saiba como configurar feeds. Se o problema continuar, entre em contato com o suporte da Google Security Operations.
HTTP_403 Uma conexão com a fonte foi estabelecida, mas houve um problema de autorização. Verifique se os acessos e as permissões necessários foram adicionados.
HTTP_404 Uma conexão com a origem foi estabelecida, mas o arquivo ou recurso não foi encontrado.

Verifique se:

  • O arquivo existe na origem.
  • Os usuários apropriados têm acesso ao arquivo.

Se o problema continuar, entre em contato com o suporte da Google Security Operations.

HTTP_429 O feed expirou porque houve muitas tentativas de acesso à fonte. Entre em contato com o suporte do Google Security Operations.
HTTP_500 Uma conexão com a fonte foi estabelecida, mas ela não respondeu com dados. Verifique se a fonte está disponível e responde com dados. Se o problema continuar, entre em contato com o suporte da Google Security Operations.
HTTP_502 O feed encontrou um erro de gateway. Esse erro é temporário, e o aplicativo vai tentar a solicitação novamente. Se o problema persistir, entre em contato com o suporte da Google Security Operations.
HTTP_504 As Operações de segurança do Google não conseguem se conectar ao endereço IP e à porta de origem. Esse erro é temporário, e o aplicativo vai tentar a solicitação novamente.

Verifique se:

  • A origem está disponível.
  • Um firewall não está bloqueando a conexão.
  • O endereço IP associado ao servidor está correto.

Se o problema continuar, entre em contato com o suporte da Google Security Operations.