Coletar arquivos CSV de IOC personalizados

Compatível com:

Google SecOps SIEM

Observação: esse recurso é coberto pelos Termos de produtos pré-GA dos Termos específicos de serviço do Google Security Operations. Os recursos pré-GA podem ter suporte limitado, e as mudanças realizadas podem não ser compatíveis com outras versões pré-GA. Para mais informações, consulte as diretrizes do serviço de suporte técnico do Google SecOps e os Termos específicos de serviço do Google SecOps.

Este documento explica como ingerir arquivos CSV de IOC personalizados no Google Security Operations usando o Amazon S3. Em seguida, ele mapeia esses campos para a UDM, processando vários tipos de dados, como IPs, domínios e hashes, e enriquecendo a saída com detalhes de ameaças, informações de entidades e níveis de gravidade.

Antes de começar

• Instância do Google SecOps
• Acesso privilegiado à AWS (S3, IAM, Lambda, EventBridge)
• Acesso a um ou mais URLs de feed de IOC CSV (HTTPS) ou a um endpoint interno que veicula CSV

Configurar o bucket do AWS S3 e o IAM para o Google SecOps

1. Crie um bucket do Amazon S3 seguindo este guia do usuário: Como criar um bucket
2. Salve o Nome e a Região do bucket para referência futura (por exemplo, csv-ioc).
3. Crie um usuário seguindo este guia: Como criar um usuário do IAM.
4. Selecione o usuário criado.
5. Selecione a guia Credenciais de segurança.
6. Clique em Criar chave de acesso na seção Chaves de acesso.
7. Selecione Serviço de terceiros como o Caso de uso.
8. Clique em Próxima.
9. Opcional: adicione uma tag de descrição.
10. Clique em Criar chave de acesso.
11. Clique em Fazer o download do arquivo CSV para salvar a chave de acesso e a chave de acesso secreta para uso posterior.
12. Clique em Concluído.
13. Selecione a guia Permissões.
14. Clique em Adicionar permissões na seção Políticas de permissões.
15. Selecione Adicionar permissões.
16. Selecione Anexar políticas diretamente.
17. Pesquise e selecione a política AmazonS3FullAccess.
18. Clique em Próxima.
19. Clique em Adicionar permissões

Configurar a política e o papel do IAM para uploads do S3

1. Acesse Console da AWS > IAM > Políticas > Criar política > guia JSON.

2. Insira a seguinte política:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "AllowPutCsvIocObjects",
         "Effect": "Allow",
         "Action": "s3:PutObject",
         "Resource": "arn:aws:s3:::csv-ioc/*"
       }
     ]
   }
   

   • Substitua csv-ioc se você tiver inserido um nome de bucket diferente.

3. Clique em Próxima > Criar política.

4. Acesse IAM > Funções > Criar função > Serviço da AWS > Lambda.

5. Anexe a política recém-criada.

6. Nomeie a função como WriteCsvIocToS3Role e clique em Criar função.

Criar a função Lambda

1. No console da AWS, acesse Lambda > Functions > Create function.
2. Clique em Criar do zero.

3. Informe os seguintes detalhes de configuração:

   Configuração	Valor
   Nome	csv_custom_ioc_to_s3
   Ambiente de execução	Python 3.13
   Arquitetura	x86_64
   Função de execução	WriteCsvIocToS3Role

4. Depois que a função for criada, abra a guia Código, exclua o stub e insira o seguinte código (csv_custom_ioc_to_s3.py):

   #!/usr/bin/env python3
   # Lambda: Pull CSV IOC feeds over HTTPS and write raw CSV to S3 (no transform)
   # - Multiple URLs (comma-separated)
   # - Optional auth header
   # - Retries for 429/5xx
   # - Unique filenames per page
   # - Sets ContentType=text/csv
   
   import os, time, json
   from urllib.request import Request, urlopen
   from urllib.error import HTTPError, URLError
   import boto3
   
   BUCKET = os.environ["S3_BUCKET"]
   PREFIX = os.environ.get("S3_PREFIX", "csv-ioc/").strip("/")
   IOC_URLS = [u.strip() for u in os.environ.get("IOC_URLS", "").split(",") if u.strip()]
   AUTH_HEADER = os.environ.get("AUTH_HEADER", "")  # e.g., "Authorization: Bearer <token>" OR just "Bearer <token>"
   TIMEOUT = int(os.environ.get("TIMEOUT", "60"))
   
   s3 = boto3.client("s3")
   
   def _build_request(url: str) -> Request:
       if not url.lower().startswith("https://"):
           raise ValueError("Only HTTPS URLs are allowed in IOC_URLS")
       req = Request(url, method="GET")
       # Auth header: either "Header-Name: value" or just "Bearer token" -> becomes Authorization
       if AUTH_HEADER:
           if ":" in AUTH_HEADER:
               k, v = AUTH_HEADER.split(":", 1)
               req.add_header(k.strip(), v.strip())
           else:
               req.add_header("Authorization", AUTH_HEADER.strip())
       req.add_header("Accept", "text/csv, */*")
       return req
   
   def _http_bytes(req: Request, timeout: int = TIMEOUT, max_retries: int = 5) -> bytes:
       attempt, backoff = 0, 1.0
       while True:
           try:
               with urlopen(req, timeout=timeout) as r:
                   return r.read()
           except HTTPError as e:
               if (e.code == 429 or 500 <= e.code <= 599) and attempt < max_retries:
                   time.sleep(backoff); attempt += 1; backoff *= 2; continue
               raise
           except URLError:
               if attempt < max_retries:
                   time.sleep(backoff); attempt += 1; backoff *= 2; continue
               raise
   
   def _safe_name(url: str) -> str:
       # Create a short, filesystem-safe token for the URL
       return url.replace("://", "_").replace("/", "_").replace("?", "_").replace("&", "_")[:100]
   
   def _put_csv(blob: bytes, url: str, run_ts: int, idx: int) -> str:
       key = f"{PREFIX}/{time.strftime('%Y/%m/%d/%H%M%S', time.gmtime(run_ts))}-url{idx:03d}-{_safe_name(url)}.csv"
       s3.put_object(
           Bucket=BUCKET,
           Key=key,
           Body=blob,
           ContentType="text/csv",
       )
       return key
   
   def lambda_handler(event=None, context=None):
       assert IOC_URLS, "IOC_URLS must contain at least one HTTPS URL"
       run_ts = int(time.time())
       written = []
       for i, url in enumerate(IOC_URLS):
           req = _build_request(url)
           data = _http_bytes(req)
           key = _put_csv(data, url, run_ts, i)
           written.append({"url": url, "s3_key": key, "bytes": len(data)})
       return {"ok": True, "written": written}
   
   if __name__ == "__main__":
       print(json.dumps(lambda_handler(), indent=2))
   

5. Acesse Configuração > Variáveis de ambiente > Editar > Adicionar nova variável de ambiente.

6. Insira as seguintes variáveis de ambiente, substituindo pelos seus valores:

   Chave	Exemplo
   S3_BUCKET	csv-ioc
   S3_PREFIX	csv-ioc/
   IOC_URLS	https://ioc.example.com/feed.csv,https://another.example.org/iocs.csv
   AUTH_HEADER	Authorization: Bearer <token>
   TIMEOUT	60

7. Depois que a função for criada, permaneça na página dela ou abra Lambda > Functions > sua-função.

8. Selecione a guia Configuração.

9. No painel Configuração geral, clique em Editar.

10. Mude Tempo limite para 5 minutos (300 segundos) e clique em Salvar.

    Observação: o tempo limite é um limite máximo fixo. Isso significa que, se a função ainda estiver em execução quando o timer atingir 5 minutos, o AWS Lambda vai encerrá-la. Execuções mais curtas terminam normalmente, e você só recebe cobranças pelo tempo de execução real.

Criar uma programação do EventBridge

1. Acesse Amazon EventBridge > Scheduler > Criar programação.
2. Informe os seguintes detalhes de configuração:
   • Programação recorrente: Taxa (1 hour).
   • Destino: sua função Lambda.
   • Nome: csv-custom-ioc-1h.
3. Clique em Criar programação.

Opcional: criar um usuário e chaves do IAM somente leitura para o Google SecOps

1. No console da AWS, acesse IAM > Usuários e clique em Adicionar usuários.
2. Informe os seguintes detalhes de configuração:
   • Usuário: insira um nome exclusivo (por exemplo, secops-reader)
   • Tipo de acesso: selecione Chave de acesso - Acesso programático.
   • Clique em Criar usuário.
3. Anexe a política de leitura mínima (personalizada): Usuários > selecione secops-reader > Permissões > Adicionar permissões > Anexar políticas diretamente > Criar política

4. No editor JSON, insira a seguinte política:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": ["s3:GetObject"],
         "Resource": "arn:aws:s3:::<your-bucket>/*"
       },
       {
         "Effect": "Allow",
         "Action": ["s3:ListBucket"],
         "Resource": "arn:aws:s3:::<your-bucket>"
       }
     ]
   }
   

5. Defina o nome como secops-reader-policy.

6. Acesse Criar política > pesquise/selecione > Próxima > Adicionar permissões.

7. Acesse Credenciais de segurança > Chaves de acesso > Criar chave de acesso.

8. Faça o download do CSV (esses valores são inseridos no feed).

Configurar um feed no Google SecOps para ingerir arquivos CSV de IOC personalizados

1. Acesse Configurações do SIEM > Feeds.
2. Clique em Adicionar novo feed.
3. No campo Nome do feed, insira um nome para o feed (por exemplo, CSV Custom IOC).
4. Selecione Amazon S3 V2 como o Tipo de origem.
5. Selecione IOC personalizado em CSV como o Tipo de registro.
6. Clique em Próxima.
7. Especifique valores para os seguintes parâmetros de entrada:
   • URI do S3: s3://csv-ioc/csv-ioc/
   • Opções de exclusão de fontes: selecione a opção de exclusão de acordo com sua preferência.
   • Idade máxima do arquivo: padrão de 180 dias.
   • ID da chave de acesso: chave de acesso do usuário com acesso ao bucket do S3.
   • Chave de acesso secreta: chave secreta do usuário com acesso ao bucket do S3.
   • Namespace do recurso: o namespace do recurso.
   • Rótulos de ingestão: o rótulo a ser aplicado aos eventos deste feed.
8. Clique em Próxima.
9. Revise a nova configuração do feed na tela Finalizar e clique em Enviar.

Tabela de mapeamento da UDM

Campo de registro	Mapeamento do UDM	Lógica
asn	entity.metadata.threat.detection_fields.asn_label.value	Mapeado diretamente do campo "asn".
category	entity.metadata.threat.category_details	Mapeado diretamente do campo "category".
classification	entity.metadata.threat.category_details	Adicionada a "classification - " e mapeada para o campo "entity.metadata.threat.category_details".
column2	entity.entity.hostname	Mapeado para "entity.entity.hostname" se [category] corresponder a ".?ip" ou ".?proxy" e [not_ip] for verdadeiro.
column2	entity.entity.ip	Unido a "entity.entity.ip" se [category] corresponder a ".?ip" ou ".?proxy" e [not_ip] for falso.
confidence	entity.metadata.threat.confidence_score	Convertido para ponto flutuante e mapeado para o campo "entity.metadata.threat.confidence_score".
country	entity.entity.location.country_or_region	Mapeado diretamente do campo "país".
date_first	entity.metadata.threat.first_discovered_time	Analisado como ISO8601 e mapeado para o campo "entity.metadata.threat.first_discovered_time".
date_last	entity.metadata.threat.last_updated_time	Analisado como ISO8601 e mapeado para o campo "entity.metadata.threat.last_updated_time".
detail	entity.metadata.threat.summary	Mapeado diretamente do campo "detail".
detail2	entity.metadata.threat.description	Mapeado diretamente do campo "detail2".
domain	entity.entity.hostname	Mapeado diretamente do campo "domain".
email	entity.entity.user.email_addresses	Unido ao campo "entity.entity.user.email_addresses".
id	entity.metadata.product_entity_id	Adicionado a "id - " e mapeado para o campo "entity.metadata.product_entity_id".
import_session_id	entity.metadata.threat.detection_fields.import_session_id_label.value	Mapeado diretamente do campo "import_session_id".
itype	entity.metadata.threat.detection_fields.itype_label.value	Mapeado diretamente do campo "itype".
lat	entity.entity.location.region_latitude	Convertido para ponto flutuante e mapeado para o campo "entity.entity.location.region_latitude".
lon	entity.entity.location.region_longitude	Convertido para ponto flutuante e mapeado para o campo "entity.entity.location.region_longitude".
maltype	entity.metadata.threat.detection_fields.maltype_label.value	Mapeado diretamente do campo "maltype".
md5	entity.entity.file.md5	Mapeado diretamente do campo "md5".
media	entity.metadata.threat.detection_fields.media_label.value	Mapeado diretamente do campo "media".
media_type	entity.metadata.threat.detection_fields.media_type_label.value	Mapeado diretamente do campo "media_type".
org	entity.metadata.threat.detection_fields.org_label.value	Mapeado diretamente do campo "org".
resource_uri	entity.entity.url	Mapeado para "entity.entity.url" se [itype] não corresponder a "(ip
resource_uri	entity.metadata.threat.url_back_to_product	Mapeado para "entity.metadata.threat.url_back_to_product" se [itype] corresponder a "(ip
score	entity.metadata.threat.confidence_details	Mapeado diretamente do campo "score".
severity	entity.metadata.threat.severity	Convertido para maiúsculas e mapeado para o campo "entity.metadata.threat.severity" se corresponder a "LOW", "MEDIUM", "HIGH" ou "CRITICAL".
source	entity.metadata.threat.detection_fields.source_label.value	Mapeado diretamente do campo "source".
source_feed_id	entity.metadata.threat.detection_fields.source_feed_id_label.value	Mapeado diretamente do campo "source_feed_id".
srcip	entity.entity.ip	Unido a "entity.entity.ip" se [srcip] não estiver vazio e não for igual a [value].
state	entity.metadata.threat.detection_fields.state_label.value	Mapeado diretamente do campo "state".
trusted_circle_ids	entity.metadata.threat.detection_fields.trusted_circle_ids_label.value	Mapeado diretamente do campo "trusted_circle_ids".
update_id	entity.metadata.threat.detection_fields.update_id_label.value	Mapeado diretamente do campo "update_id".
value	entity.entity.file.full_path	Mapeado para "entity.entity.file.full_path" se [category] corresponder a ".*?file".
value	entity.entity.file.md5	Mapeado para "entity.entity.file.md5" se [category] corresponder a ".*?md5" e [value] for uma string hexadecimal de 32 caracteres.
value	entity.entity.file.sha1	Mapeado para "entity.entity.file.sha1" se ([category] corresponder a ".?md5" e [value] for uma string hexadecimal de 40 caracteres) ou ([category] corresponder a ".?sha1" e [value] for uma string hexadecimal de 40 caracteres).
value	entity.entity.file.sha256	Mapeado para "entity.entity.file.sha256" se ([category] corresponder a ".?md5" e [value] for uma string hexadecimal e [file_type] não for "md5") ou ([category] corresponder a ".?sha256" e [value] for uma string hexadecimal).
value	entity.entity.hostname	Mapeado para "entity.entity.hostname" se ([category] corresponder a ".?domain") ou ([category] corresponder a ".?ip" ou ".*?proxy" e [not_ip] for verdadeiro).
value	entity.entity.url	Mapeado para "entity.entity.url" se ([category] corresponder a ".*?url") ou ([category] corresponder a "url" e [resource_uri] não estiver vazio).
N/A	entity.metadata.collected_timestamp	Preenchido com o carimbo de data/hora do evento.
N/A	entity.metadata.interval.end_time	Definido como um valor constante de 253402300799 segundos.
N/A	entity.metadata.interval.start_time	Preenchido com o carimbo de data/hora do evento.
N/A	entity.metadata.vendor_name	Definido como um valor constante de "IOC personalizado".

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.