Criar e gerenciar feeds usando a UI de gerenciamento de feeds

Esta página fornece informações sobre como criar, gerenciar e resolver problemas de feeds usando a UI de gerenciamento de feeds. Gerenciar os feeds inclui modificar, ativar e excluir os feeds.

Antes de começar

Cada feed de dados tem o próprio conjunto de pré-requisitos que precisam ser atendidos antes de configurar o feed nas Operações de segurança do Google. Para informações sobre os pré-requisitos específicos para um tipo de feed, consulte Configuração por tipo de origem. Pesquise o tipo de feed de dados que você precisa configurar e siga as instruções fornecidas.

Adicionar um feed

Para adicionar um feed à sua conta das Operações de segurança do Google, siga estas etapas. É possível adicionar até cinco feeds para cada tipo de registro.

  1. No menu Google Security Operations, selecione Settings e clique em Feeds. Os feeds de dados listados nesta página incluem todos os feeds configurados pelo Google para sua conta, além daqueles configurados por você.

  2. Clique em Add New. A janela Adicionar feed será exibida.

  3. Adicione um nome para o feed.

  1. Na lista Tipo de origem, selecione o tipo de origem que você quer usar para enviar dados para as Operações de segurança do Google. Você pode escolher entre os seguintes tipos de origem de feed:

    • Amazon Data Firehose (em inglês)
    • Amazon S3
    • Amazon SQS (em inglês)
    • Google Cloud Pub/Sub
    • Google Cloud Storage
    • Arquivos HTTP(S) (não API)
    • Armazenamento de Blobs do Microsoft Azure
    • API de terceiros
    • Webhook
  2. Na lista Tipo de registro, selecione o tipo de registro correspondente aos registros que você quer ingerir. Os registros disponíveis variam de acordo com o tipo de origem selecionado anteriormente. Clique em Próximo.

    Se você selecionar Google Cloud Storage como o tipo de origem, use a opção Ver conta de serviço para receber uma conta de serviço exclusiva. Neste documento, consulte Exemplo de configuração de feed do Google Cloud Storage.

  3. Especifique os parâmetros necessários na guia Parâmetros de entrada. As opções apresentadas aqui variam de acordo com a origem e o tipo de registro selecionados na guia Definir propriedades. Mantenha o ponteiro do mouse sobre o ícone de interrogação para cada campo para ver mais informações sobre o que você precisa fornecer.

  4. (Opcional) Especifique um namespace aqui. Para saber mais sobre namespaces, consulte a documentação sobre namespace do recurso.

  5. Clique em Seguinte.

  6. Revise a configuração do seu novo feed na guia Finalizar. Clique em Enviar quando estiver tudo pronto. As Operações de segurança do Google realizam uma verificação de validação do novo feed. Se o feed for aprovado na verificação, um nome será gerado para ele e enviado às Operações de segurança do Google, que começará a tentar buscar dados.

    Finalizar solicitação de feed

Excluir arquivos de origem

Para vários tipos de feed, incluindo o Cloud Storage, há um campo no fluxo de trabalho Adicionar novo ou Editar feed chamado OPÇÃO DE EXCLUSÃO DE ORIGEM. Esse menu tem três opções:

  1. Nunca excluir arquivos
  2. Excluir arquivos transferidos e diretórios vazios
  3. Excluir arquivos transferidos

As opções 2 e 3 envolvem exclusões: uma para arquivos e outra para arquivos e qualquer diretório vazio. Se você selecionar uma dessas opções, precisará adicionar as permissões específicas ao tipo de feed. Para informações sobre permissões específicas de um tipo de feed, consulte Configuração por tipo de origem.

Essa opção permite excluir um objeto do sistema de armazenamento depois de transferi-lo. Os feeds sempre lembram quais objetos (ou arquivos) foram transferidos e nunca transferem o mesmo arquivo duas vezes (a menos que ele tenha sido atualizado), mas você precisa definir essa opção se quiser que o sistema exclua o objeto de origem depois da transferência (bem-sucedida).

O Armazenamento de Blobs do Microsoft Azure não é compatível com a exclusão de arquivos de origem. As seguintes opções de exclusão de origem não podem ser usadas com o tipo de origem do Armazenamento de Blobs do Microsoft Azure:

  • Excluir arquivos transferidos e diretórios vazios
  • Excluir arquivos transferidos

Ao criar um feed com a origem do Armazenamento de Blobs do Microsoft Azure, selecione apenas a opção Nunca excluir arquivos.

Configurar um feed de push do Pub/Sub

Para configurar um feed de push do Pub/Sub, faça o seguinte:

  1. Criar um feed de push do Pub/Sub.
  2. Especifique o URL do endpoint em uma assinatura do Pub/Sub.

Criar um feed de push do Pub/Sub

  1. No menu Google Security Operations, selecione Settings e clique em Feeds.
  2. Clique em Adicionar novo.
  3. No campo Nome do feed, insira um nome.
  4. Na lista Tipo de origem, selecione Push do Google Cloud Pub/Sub.
  5. Selecione o Tipo de registro. Por exemplo, para criar um feed para o Open Cybersecurity Schema Framework, selecione Open Cybersecurity Schema Framework (OCSF) como o Tipo de registro.
  6. Clique em Seguinte.
  7. Opcional: especifique valores para os seguintes parâmetros de entrada:
    • Delimitador de divisão: o delimitador usado para separar linhas de registro, como \n.
    • Namespace do recurso: namespace do recurso.
    • Rótulos de ingestão: o rótulo a ser aplicado aos eventos do feed.
  8. Clique em Seguinte.
  9. Revise a configuração da nova feed na tela Finalizar e clique em Enviar.
  10. Na guia Detalhes, copie o URL do endpoint do feed no campo Informações do endpoint. Você precisa desse URL de endpoint para criar uma assinatura de push no Pub/Sub.
  11. Para desativar o feed, clique no botão Feed ativado. O feed está ativado por padrão.
  12. Clique em Concluído.

Especifique o URL do endpoint

Depois de criar um feed de push do Pub/Sub, no Pub/Sub, crie uma assinatura de push, especifique o endpoint HTTPS e ative a autenticação.

  1. Crie uma assinatura de push no Pub/Sub. Para mais informações sobre como criar uma assinatura push, consulte Criar assinaturas de push.
  2. Especifique o URL do endpoint, que está disponível no feed de push do Google Cloud Pub/Sub.
  3. Selecione Ativar autenticação e escolha uma conta de serviço.

Configurar um feed do Amazon Data Firehose

Para configurar um feed do Amazon Data Firehose, faça o seguinte:

  1. Crie um feed do Amazon Data Firehose e copie o URL do endpoint e a chave secreta.
  2. Crie uma chave de API para autenticar as Operações de segurança do Google. Também é possível reutilizar sua chave de API atual para autenticar nas Operações de segurança do Google.
  3. Especifique o URL do endpoint no Amazon Data Firehose.

Criar um feed do Amazon Data Firehose

  1. No menu Google Security Operations, selecione Settings e clique em Feeds.
  2. Clique em Adicionar novo.
  3. No campo Nome do feed, insira um nome.
  4. Na lista Tipo de origem, selecione Amazon Data Firehose.
  5. Selecione o Tipo de registro. Por exemplo, para criar um feed para o Open Cybersecurity Schema Framework, selecione Open Cybersecurity Schema Framework (OCSF) como o Tipo de registro.
  6. Clique em Seguinte.
  7. Opcional: especifique valores para os seguintes parâmetros de entrada:
    • Delimitador de divisão: o delimitador usado para separar linhas de registro, como \n.
    • Namespace do recurso: namespace do recurso.
    • Rótulos de ingestão: o rótulo a ser aplicado aos eventos do feed.
  8. Clique em Seguinte.
  9. Revise a configuração da nova feed na tela Finalizar e clique em Enviar.
  10. Clique em Gerar chave secreta para gerar uma chave secreta e autenticar esse feed.
  11. Copie e armazene a chave secreta, porque não será possível ver este secret novamente. É possível gerar uma nova chave secreta novamente, mas ela se tornará obsoleta se for gerada novamente.
  12. Na guia Detalhes, copie o URL do endpoint do feed no campo Informações do endpoint. Você precisa desse URL de endpoint ao especificar as configurações de destino do seu fluxo de entrega no Amazon Data Firehose.
  13. Para desativar o feed, clique no botão Feed ativado. O feed está ativado por padrão.
  14. Clique em Concluído.

Criar uma chave de API para o feed do Amazon Data Firehose

  1. Acesse a página Credenciais no console do Google Cloud.
  2. Clique em Criar credenciais e, em seguida, selecione Chave de API.
  3. Restrinja o acesso da chave de API à API Chronicle.

Especifique o URL do endpoint

No Amazon Data Firehose, especifique o endpoint HTTPS e a chave de acesso.

  1. Anexe a chave de API ao URL do endpoint do feed e especifique esse URL como o URL do endpoint HTTP no seguinte formato:

      ENDPOINT_URL?key=API_KEY
    

    Substitua:

    • ENDPOINT_URL: o URL do endpoint do feed.
    • API_KEY: a chave de API para autenticação nas Operações de segurança do Google.
  2. Para a chave de acesso, especifique a chave secreta que você recebeu quando criou o feed do Amazon Data Firehose.

Configurar um feed de webhook HTTPS

Para configurar um feed de webhook HTTPS, faça o seguinte:

  1. Crie um feed de webhook HTTPS e copie o URL do endpoint e a chave secreta.
  2. Crie uma chave de API especificada com o URL do endpoint. Também é possível reutilizar a chave de API atual para fazer a autenticação nas Operações de segurança do Google.
  3. Especifique o URL do endpoint no seu aplicativo.

Criar um feed de webhook HTTPS

  1. No menu Google Security Operations, selecione Settings e clique em Feeds.
  2. Clique em Adicionar novo.
  3. No campo Nome do feed, insira um nome.
  4. Na lista Source type, selecione Webhook.
  5. Selecione o Tipo de registro. Por exemplo, para criar um feed para o Open Cybersecurity Schema Framework, selecione Open Cybersecurity Schema Framework (OCSF) como o Tipo de registro.
  6. Clique em Seguinte.
  7. Opcional: especifique valores para os seguintes parâmetros de entrada:
    • Delimitador de divisão: o delimitador usado para separar linhas de registro, como \n.
    • Namespace do recurso: namespace do recurso.
    • Rótulos de ingestão: o rótulo a ser aplicado aos eventos do feed.
  8. Clique em Seguinte.
  9. Revise a configuração da nova feed na tela Finalizar e clique em Enviar.
  10. Clique em Gerar chave secreta para gerar uma chave secreta e autenticar esse feed.
  11. Copie e armazene a chave secreta, porque não será possível ver este secret novamente. É possível gerar uma nova chave secreta novamente, mas ela se tornará obsoleta se for gerada novamente.
  12. Na guia Detalhes, copie o URL do endpoint do feed no campo Informações do endpoint. Você precisa especificar esse URL de endpoint no aplicativo cliente.
  13. Para desativar o feed, clique no botão Feed ativado. O feed está ativado por padrão.
  14. Clique em Concluído.

Criar uma chave de API para o feed do webhook

  1. Acesse a página Credenciais no console do Google Cloud.
  2. Clique em Criar credenciais e, em seguida, selecione Chave de API.
  3. Restrinja o acesso da chave de API à API Chronicle.

Especifique o URL do endpoint

  1. No aplicativo cliente, especifique o endpoint HTTPS, que está disponível no feed de webhook.
  2. Para ativar a autenticação, especifique a chave de API e a chave secreta como parte do cabeçalho personalizado no seguinte formato:

    X-goog-api-key = API_KEY

    X-Webhook-Access-Key = SECRET

    Recomendamos especificar a chave de API como um cabeçalho em vez de especificá-la no URL. Se o cliente de webhook não aceitar cabeçalhos personalizados, especifique as chaves secretas e de API usando parâmetros de consulta no seguinte formato:

      ENDPOINT_URL?key=API_KEY&secret=SECRET
    

    Substitua:

    • ENDPOINT_URL: o URL do endpoint do feed.
    • API_KEY: a chave de API para autenticação nas Operações de segurança do Google.
    • SECRET: a chave secreta que você gerou para autenticar o feed.

Exemplo de configuração do feed do Google Cloud Storage

  1. No menu Google Security Operations, selecione Settings e clique em Feeds.
  2. Clique em Add New.
  3. Selecione Google Cloud Storage para Tipo de origem.
  4. Selecione o Tipo de registro. Por exemplo, para criar um feed para os registros de auditoria do Google Kubernetes Engine, selecione Registros de auditoria do Google Kubernetes Engine como o Tipo de registro.
  5. Clique em Ver conta de serviço. O Google Security Operations fornece uma conta de serviço exclusiva usada pelo Google Security Operations para ingerir dados.
  6. Configurar o acesso da conta de serviço para acessar os objetos do Cloud Storage. Neste documento, consulte Conceder acesso à conta de serviço de Operações de segurança do Google.
  7. Clique em Seguinte.
  8. Com base na configuração do Cloud Storage que você criou, especifique valores para os seguintes campos:
    • URI do bucket de armazenamento
    • O URI é um
    • Opção de exclusão da fonte
  9. Clique em Próxima e em Enviar.

Conceder acesso à conta de serviço de Operações de segurança do Google

  1. No console do Google Cloud, acesse a página Buckets do Cloud Storage.

    Acessar buckets

  2. Conceda acesso à conta de serviço aos objetos relevantes do Cloud Storage.

    • Para conceder permissão de leitura a um arquivo específico, siga estas etapas:

      1. Selecione o arquivo e clique em Editar acesso.
      2. Clique em Adicionar principal.
      3. No campo Novos principais, insira o nome da conta de serviço das Operações de segurança do Google.
      4. Atribua um papel que contenha a permissão de leitura à conta de serviço das Operações de segurança do Google. Por exemplo, Leitor de objetos do Storage (roles/storage.objectViewer). Isso só poderá ser feito se você não tiver ativado o acesso uniforme no nível do bucket.
      5. Clique em Salvar.
    • Para conceder permissão de leitura a vários arquivos, é necessário conceder acesso no nível do bucket. É preciso adicionar a conta de serviço das Operações de segurança do Google como principal ao bucket de armazenamento e conceder a ela o papel Leitor de objetos do Storage (roles/storage.objectViewer) do IAM.

      Se você configurar o feed para excluir arquivos de origem, adicione a conta de serviço do Google Security Operations como principal no bucket e conceda a ela o papel Administrador de objetos do Storage (roles/storage.objectAdmin) do IAM.

Configurar o VPC Service Controls

Se o VPC Service Controls estiver ativado, será necessária uma regra de entrada para fornecer acesso ao bucket do Cloud Storage.

Os seguintes métodos do Cloud Storage precisam ser permitidos na regra de entrada:

  • google.storage.objects.list. Obrigatório para um único feed de arquivos.
  • google.storage.objects.get. Obrigatório para feeds que exigem acesso ao diretório ou subdiretório.
  • google.storage.objects.delete. Obrigatório para feeds que exigem a exclusão do arquivo de origem.

Exemplo de regra de entrada

- ingressFrom:
  identities:
    - serviceAccount:8911409095528497-0-account@partnercontent.gserviceaccount.com
  sources:
  - accessLevel: "*"
  ingressTo:
  operations:
  - serviceName: storage.googleapis.com
    methodSelectors:
    - method: google.storage.objects.list
    - method: google.storage.objects.get
    - method: google.storage.objects.delete
  resources:
  - projects/PROJECT_ID

Status do feed

Você pode monitorar o status do feed na página inicial Feeds. Os feeds podem ter os seguintes status:

  • Ativo: o feed está configurado e pronto para ingerir dados na sua conta das Operações de segurança do Google.
  • Em andamento: o Google Security Operations agora está tentando extrair dados de terceiros configurados.
  • Concluído: dados recuperados por este feed.
  • Arquivado: feed desativado.
  • Falha: o feed não está buscando dados. Isso provavelmente se deve a um problema de configuração. Clique na pergunta para exibir o erro de configuração. Depois de corrigir o erro e reenviar o feed, retorne à página Feeds para determinar se o feed está funcionando ou não.

Editar feeds

Na página Feeds, é possível editar um feed existente:

  1. Coloque o cursor sobre um feed existente e clique em more_vert na coluna à direita.

  2. Clique em Editar feed. Agora você pode alterar os parâmetros de entrada do feed e reenviá-lo para as Operações de segurança do Google. As Operações de segurança do Google vão tentar usar o feed editado.

Ativar e desativar feeds

Na coluna Status, os feeds ativados são marcados como Ativo, Em andamento, Concluído ou Com falha. Os campos desativados são marcados como Arquivados. Para conferir uma descrição, consulte o status do feed.

Na página Feeds, você pode ativar ou desativar qualquer um dos feeds existentes:

  1. Coloque o cursor sobre um feed existente e clique em more_vert na coluna à direita.

  2. Para ativar um feed, clique no botão Ativar feed.

  3. Para desativar um feed, clique no botão Desativar feed. O feed agora está marcado como Arquivado.

Excluir feeds

Na página Feeds, você também pode excluir um feed:

  1. Coloque o cursor sobre um feed existente e clique em more_vert na coluna à direita.

  2. Clique em Excluir feed. A janela EXCLUIR FEED será aberta. Para excluir permanentemente o feed, clique em Sim, excluir.

Controlar a taxa de ingestão

Quando a taxa de ingestão de dados de um locatário atinge um determinado limite, as Operações de segurança do Google restringem a taxa de ingestão de novos feeds de dados para evitar que uma origem com uma alta taxa afete a taxa de ingestão de outra fonte de dados. Nesse caso, há um atraso, mas os dados não são perdidos. O limite é determinado pelo volume de ingestão e pelo histórico de uso do locatário.

Para solicitar um aumento do limite de taxa, entre em contato com o Cloud Customer Care.

Solução de problemas

Na página Feeds, é possível visualizar detalhes como tipo de origem, tipo de registro, ID do feed e status dos feeds existentes:

  1. Coloque o cursor sobre um feed existente e clique em more_vert na coluna à direita.

  2. Clique em Ver feed. Uma caixa de diálogo com os detalhes do feed será exibida. Para um feed com falha, você encontra os detalhes do erro em Detalhes > Status.

No caso de um feed com falha, os detalhes incluem a causa do erro e as etapas para corrigi-lo. A tabela a seguir descreve as mensagens de erro que você pode encontrar ao trabalhar com feeds de dados.

Código do erro Causa Solução de problemas
ACCESS_DENIED A conta de autenticação fornecida na configuração do feed não tem as permissões necessárias. Verifique se a conta de autenticação fornecida na configuração do feed tem as permissões necessárias. Consulte a documentação de feeds para as permissões necessárias.
ACCESS_TOO_FREQUENT O feed falhou porque houve muitas tentativas de acessar a origem. Entre em contato com o suporte das Operações de segurança do Google.
CONNECTION_DROPPED Uma conexão com a origem foi estabelecida, mas ela foi encerrada antes da conclusão do feed. Esse erro é temporário, e o aplicativo tentará novamente. Se o problema persistir, entre em contato com o suporte.
CONNECTION_FAILED O aplicativo não consegue se conectar ao endereço IP e à porta de origem.

Verifique se:

  • A fonte está disponível.
  • Um firewall não está bloqueando a conexão.
  • O endereço IP associado ao servidor está correto.
  • Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.

DNS_ERROR O nome do host de origem não foi resolvido. O nome do host do servidor pode estar incorreto. Verifique se o URL foi digitado corretamente.
FILE_FAILED Uma conexão com a origem foi estabelecida, mas ocorreu um problema com o arquivo ou recurso.

Verifique se:

  • o arquivo não está corrompido;
  • As permissões no nível do arquivo estão corretas.

Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.

FILE_NOT_FOUND Uma conexão com a origem foi estabelecida, mas não foi possível encontrar o arquivo ou recurso.

Verifique se:

  • O arquivo existe na origem.
  • Os usuários certos têm acesso ao arquivo.

Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.

GATEWAY_ERROR A API retornou um erro de gateway para a chamada feita pelas Operações de segurança do Google. Verifique os detalhes da fonte do feed. O aplicativo tentará fazer a solicitação novamente.
INTERNAL_ERROR Não foi possível ingerir os dados devido a um erro interno. Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.
INVALID_ARGUMENT Uma conexão com a origem foi estabelecida, mas o feed falhou devido a argumentos inválidos. Verifique a configuração do feed. Consulte a documentação sobre feeds para saber mais sobre como fazer a configuração deles. Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.
INVALID_FEED_CONFIG A configuração do feed contém valores inválidos. Verifique se a configuração do feed está incorreta. Consulte a documentação de feeds para saber a sintaxe correta.
INVALID_REMOTE_RESPONSE Uma conexão com a origem foi estabelecida, mas a resposta estava incorreta. Verifique a configuração do feed. Saiba mais sobre como configurar feeds. Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.
LOGIN_FAILED Uma conexão com a origem foi estabelecida, mas as credenciais estavam incorretas ou faltando. Insira novamente as credenciais da origem para confirmar que elas estão corretas.
NO_RESPONSE Uma conexão com a origem foi estabelecida, mas a origem não respondeu. Verifique se a origem oferece suporte às solicitações das Operações de segurança do Google. Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.
PERMISSION_DENIED Uma conexão com a origem foi estabelecida, mas houve um problema com a autorização. Verifique se as permissões e os acessos necessários foram adicionados.
REMOTE_SERVER_ERROR Uma conexão com a origem foi estabelecida, mas a origem não respondeu com dados. Verifique se a fonte está disponível e respondendo com dados. Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.
REMOTE_SERVER_REPORTED_BAD_REQUEST Uma conexão com a origem foi estabelecida, mas a origem rejeitou a solicitação. Verifique a configuração do feed. Consulte a documentação sobre feeds para mais detalhes. Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.
SOCKET_READ_TIMEOUT Uma conexão com a origem foi estabelecida, mas ela expirou antes do término da transferência de dados. Esse erro é temporário, e o aplicativo tentará novamente. Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.
TOO_MANY_ERRORS O feed expirou porque encontrou vários erros na origem. Entre em contato com o suporte das Operações de segurança do Google.
TRANSIENT_INTERNAL_ERROR O feed encontrou um erro interno temporário. Esse erro é temporário, e o aplicativo tentará novamente. Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.
UNSAFE_CONNECTION Falha ao fazer uma conexão do aplicativo porque o endereço IP estava restrito. Esse erro é temporário, e as Operações de segurança do Google tentarão fazer a solicitação novamente. Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.
HTTP_400 O feed falhou devido a uma solicitação inválida. Verifique a configuração do feed. Saiba mais sobre como configurar feeds. Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.
HTTP_403 Uma conexão com a origem foi estabelecida, mas houve um problema com a autorização. Verifique se as permissões e os acessos necessários foram adicionados.
HTTP_404 Uma conexão com a origem foi estabelecida, mas não foi possível encontrar o arquivo ou recurso.

Verifique se:

  • O arquivo existe na origem.
  • Os usuários certos têm acesso ao arquivo.

Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.

HTTP_429 O feed expirou porque houve muitas tentativas de acessar a origem. Entre em contato com o suporte das Operações de segurança do Google.
HTTP_500 Uma conexão com a origem foi estabelecida, mas a origem não respondeu com dados. Verifique se a fonte está disponível e respondendo com dados. Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.
HTTP_502 O feed encontrou um erro de gateway. Esse erro é temporário, e o aplicativo tentará novamente. Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.
HTTP_504 As Operações de segurança do Google não podem se conectar à porta e ao endereço IP de origem. Esse erro é temporário, e o aplicativo tentará novamente.

Verifique se:

  • A fonte está disponível.
  • Um firewall não está bloqueando a conexão.
  • O endereço IP associado ao servidor está correto.

Se o problema persistir, entre em contato com o suporte das Operações de segurança do Google.