Registros de fluxo de VPC

Os registros de fluxo de VPC gravam uma amostra dos pacotes enviados e recebidos pelas instâncias de máquina virtual (VM), incluindo as que são usadas como nós do Google Kubernetes Engine, e dos pacotes enviados por anexos da VLAN para túneis do Cloud Interconnect e do Cloud VPN (visualização).

Os registros de fluxo são agregados por conexão de IP (5-tupla). Esses registros são usados para monitoramento de rede, perícia forense, análise de segurança e otimização de despesas.

É possível ver os registros de fluxo no Cloud Logging e exportá-los para qualquer destino compatível com a exportação do Cloud Logging.

Casos de uso

Monitoramento de rede

Os registros de fluxo de VPC fornecem visibilidade sobre capacidade de processamento e desempenho. É possível:

  • monitorar a rede VPC;
  • realizar o diagnóstico de rede;
  • Filtrar os registros de fluxo por VMs, anexos de VLAN e túneis do Cloud VPN para entender as mudanças no tráfego
  • entender o crescimento do tráfego para previsão de capacidade.

Como entender o uso da rede e como otimizar as despesas de tráfego de rede

É possível analisar o uso da rede com os registros de fluxo de VPC para otimizar as despesas de tráfego de rede. Por exemplo, você pode analisar os fluxos de rede para:

  • tráfego entre regiões e zonas;
  • tráfego para países específicos na Internet;
  • Tráfego para redes no local e outras redes na nuvem
  • Principais usuários na rede, incluindo VMs, anexos da VLAN e túneis do Cloud VPN

Perícia forense da rede

É possível usar os registros de fluxo de VPC para fazer uma análise forense na rede. Por exemplo, se houver um incidente, você pode examinar:

  • quais IPs conversaram com quem e quando isso aconteceu;
  • todos os IPs comprometidos, pela análise de todos os fluxos de rede de entrada e de saída.

Especificações

  • Os registros de fluxo de VPC fazem parte do Andromeda, o software que aciona redes VPC. Eles não causam atrasos ou penalidades de desempenho quando ativados.
  • Os registros de fluxo de VPC funcionam com redes VPC, não com redes legadas. Os registros de fluxo de VPC são ativados ou desativados por sub-rede, anexo da VLAN para o Cloud Interconnect (visualização) ou túnel do Cloud VPN (visualização). Se ativados para uma sub-rede, os registros de fluxo de VPC coletam dados de todas as instâncias de VM, incluindo nós do GKE nessa sub-rede.
  • Os registros de fluxo de VPC fornecem amostras de fluxos TCP, UDP, ICMP, ESP e GRE. São fornecidas amostras para os fluxos de entrada e os de saída. Esses fluxos podem estar dentro do Google Cloud ou entre o Google Cloud e outras redes. Se um fluxo for capturado por amostragem, os registros de fluxo de VPC gerarão um registro para o fluxo. Cada registro de fluxo inclui as informações descritas na seção Formato do registro.
  • Os registros de fluxo de VPC interagem com as regras de firewall das seguintes maneiras:
    • Os pacotes de saída são amostrados antes das regras de firewall de saída. Mesmo que uma regra de firewall de saída negue pacotes de saída, é possível que esses pacotes sejam amostrados por registros de fluxo de VPC.
    • Os pacotes de entrada são amostrados depois das regras de firewall de entrada. Se uma regra de firewall de entrada negar pacotes de entrada, esses pacotes não serão amostrados por registro de fluxo de VPC.
  • É possível usar filtros nos registros de fluxo de VPC para gerar apenas determinados registros.
  • Os registros de fluxo de VPC são compatíveis com VMs que têm várias interfaces de rede. É necessário ativar os registros de fluxo de VPC para cada sub-rede, em cada VPC, que contenha uma interface de rede.
  • Para registrar fluxos entre pods no mesmo nó do Google Kubernetes Engine (GKE), ative a visibilidade intranós no cluster.
  • Os registros de fluxo de VPC não são informados dos recursos do Cloud Run.

Coleta de registros

A amostragem dos pacotes é feita dentro de um intervalo de agregação. Todos os pacotes coletados para uma determinada conexão de IP no intervalo de agregação são agregados em uma única entrada de registro de fluxo. Esses dados são enviados para o Logging.

Os registros são armazenados no Logging por 30 dias, por padrão. Se você quiser manter os registros por mais tempo, será possível definir um período de retenção personalizado ou exportá-los para um destino compatível.

Amostragem e processamento de registros

Para gerar logs de fluxo, os registros de fluxo de VPC coletam amostras de pacotes que saem e entram em uma VM ou passam por um gateway, como um anexo da VLAN ou um túnel do Cloud VPN na nuvem. Após a geração dos registros de fluxo, os registros de fluxo de VPC os processam seguindo o procedimento descrito nesta seção.

Os registros de fluxo de VPC fazem a amostragem de pacotes usando uma taxa de amostragem principal. A taxa de amostragem primária é dinâmica e varia dependendo da carga do host físico que executa a VM ou o gateway no durante o período de amostragem. A probabilidade de amostragem de qualquer conexão IP única aumenta com o volume de pacotes. Não é possível controlar o processo de amostragem do registro de fluxo principal nem ajustar a taxa de amostragem principal.

Depois que os registros de fluxo são gerados, os registros de fluxo da VPC os processam de acordo com o seguinte procedimento:

  1. Filtragem: é possível especificar que apenas os registros que corresponderem a critérios especificados serão gerados. Por exemplo, é possível filtrar para que apenas os registros de uma determinada VM ou apenas os registros com um determinado valor de metadados sejam gerados, enquanto o restante é descartado. Para mais informações, consulte Filtragem de registros.
  2. Agregação: as informações dos pacotes da amostragem são agregadas em um intervalo de agregação configurável para produzir uma entrada de registro de fluxo.
  3. Amostragem do registro de fluxo secundário: este é um segundo processo de amostragem. Entradas do registro de fluxo são amostradas posteriormente de acordo com um parâmetro configurável de taxa de amostragem secundária. A amostragem secundária é realizada nos registros de fluxo gerados pelo processo de amostragem de registro de fluxo principal. Por exemplo, se a taxa de amostragem secundária for definida como 1.0 ou 100%, os Registros de fluxo da VPC farão a amostragem de 100% dos registros de fluxo gerados pela amostragem de registro de fluxo principal.
  4. Metadados: se desativados, todas as anotações de metadados serão descartadas. Se quiser manter os metadados, você poderá especificar que todos os campos ou um conjunto específico de campos sejam mantidos. Para mais informações, consulte Anotações de metadados.
  5. Gravar no Logging: as entradas de registro finais são gravadas no Cloud Logging.

Como os registros de fluxo de VPC não capturam todos os pacotes, eles compensam os pacotes ausentes por meio da interpolação dos pacotes capturados. Isso acontece com os pacotes perdidos devido a configurações de amostragem iniciais e definidas pelo usuário.

Embora o Google Cloud não capture todos os pacotes, as capturas de registros podem ser muito grandes. É possível equilibrar a visibilidade do tráfego e suas necessidades de custo de armazenamento ajustando os seguintes aspectos da coleta de registros:

  • Intervalo de agregação: pacotes amostrados em um intervalo de tempo são agregados em uma única entrada de registro. Esse intervalo de tempo pode ser de 5 segundos (padrão), 30 segundos, 1 minuto, 5 minutos, 10 minutos ou 15 minutos.
  • Taxa de amostragem secundária:
    • Nas VMs, 50% das entradas de registro são mantidas por padrão. É possível definir esse parâmetro de 1.0 (100%, todas as entradas de registro serão mantidas) até 0.0 (0%, nenhum registro será mantido).
    • Para anexos de VLAN e túneis do Cloud VPN, 100% das entradas de registro são mantidas por padrão. É possível definir isso de 1.0 para maior que 0.0.
  • Anotações de metadados: por padrão, as entradas do registro de fluxo contêm informações de metadados, como os nomes das VMs de origem e de destino no Google Cloud ou a região geográfica de origens e destinos externos. É possível desativar as anotações de metadados ou especificar apenas algumas anotações para economizar espaço de armazenamento.
  • Filtragem: por padrão, os registros são gerados para cada fluxo amostrado. É possível definir filtros para que sejam gerados apenas registros que correspondam a determinados critérios.

Preços

São aplicados preços padrão para o Logging, BigQuery ou Pub/Sub. Os preços de registros de fluxo de VPC estão descritos em Preços de telemetria de rede.

A seguir