Perfil de rede RDMA

Esta página oferece uma visão geral do perfil de rede RDMA no Google Cloud.

Sobre o perfil de rede RDMA

O perfil de rede RDMA permite criar uma rede de nuvem privada virtual (VPC, na sigla em inglês) em que é possível executar workloads de IA em instâncias de VM com NICs NVIDIA ConnectX-7. Essas NICs oferecem suporte à conectividade de acesso direto à memória remota (RDMA, na sigla em inglês) e têm o tipo de NIC MRDMA no Google Cloud.

Uma rede VPC com o perfil de rede RDMA oferece suporte à comunicação RDMA de baixa latência e alta largura de banda entre as GPUs das VMs criadas na rede usando RDMA sobre Ethernet convergente v2 (RoCE v2).

Para mais informações sobre como executar cargas de trabalho de IA no Google Cloud, consulte a documentação do AI Hypercomputer.

Especificações

As redes VPC criadas com o perfil de rede RDMA têm as seguintes especificações:

  • A rede só aceita anexos de NICs MRDMA. As VMs A3 Ultra são o único tipo de VM que oferece suporte a NICs MRDMA. Outros tipos de NIC, como as GVNICs de uma VM A3 Ultra, precisam ser anexadas a uma rede VPC normal.
  • O conjunto de recursos com suporte na rede é pré-configurado pelo Google Cloud para oferecer suporte a cargas de trabalho de IA que exigem RDMA. As redes VPC com o perfil de rede RDMA têm mais restrições do que as redes VPC normais. Para mais informações, consulte Recursos com e sem suporte.
  • A rede é limitada à zona do perfil de rede especificado ao criar a rede. Por exemplo, todas as instâncias criadas na rede precisam ser criadas na zona do perfil de rede. Para mais informações, consulte Zonas com suporte. Além disso, todas as sub-redes que você criar na rede precisam estar na região que corresponde à zona do perfil de rede.
  • O nome do recurso do perfil de rede RDMA especificado ao criar a rede tem o formato ZONE-vpc-roce, por exemplo, europe-west1-b-vpc-roce.
  • A MTU padrão em uma rede VPC criada com o perfil de rede RDMA é 8896. Esse padrão dá ao driver RDMA no SO convidado da VM a flexibilidade para usar uma MTU adequada. A MTU padrão em redes VPC normais (1460) pode ser muito pequena para algumas cargas de trabalho de RDMA. Para ter o melhor desempenho, o Google recomenda que você não mude o MTU padrão.

Zonas com suporte

O perfil de rede RDMA está disponível nas seguintes zonas:

  • europe-west1-b
  • us-east7-c

Recursos compatíveis e incompatíveis

Esta seção descreve os recursos com e sem suporte nas redes VPC criadas com o perfil de rede RDMA.

Os recursos de redes VPC normais são compatíveis, a menos que sejam configurados para serem desativados pelo perfil de rede, dependam de um recurso desativado pelo perfil de rede ou não se apliquem ao tráfego de NICs RDMA, conforme descrito nesta seção.

Recursos configurados pelo perfil de rede

Esta tabela lista os recursos específicos configurados pelo recurso de perfil de rede e descreve se eles têm suporte ou não em redes VPC criadas com o perfil de rede RDMA. Ele inclui os valores de propriedade do perfil de rede definidos pelo Google Cloud.

Recurso Compatível Nome da propriedade Valor da propriedade Detalhes
NICs MRDMA interfaceTypes MRDMA

A rede só oferece suporte a NICs MRDMA usadas por VMs A3 Ultra.

A rede não oferece suporte a outros tipos de NIC, como GVNIC ou VIRTIO_NET.

Várias placas de rede na mesma rede allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED A rede oferece suporte a VMs multi-NIC, em que diferentes NICs da mesma VM podem usar a mesma rede VPC.

Consulte Considerações sobre desempenho para várias NICs na mesma rede VPC.

Sub-redes somente IPv4 allowedSubnetStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

A rede oferece suporte a sub-redes somente IPv4, incluindo os mesmos intervalos válidos de IPv4 que as redes VPC comuns.

A rede não oferece suporte a sub-redes de pilha dupla ou somente IPv6. Para mais informações, consulte Tipos de sub-redes.

Finalidade da sub-rede PRIVATE allowedSubnetPurposes SUBNET_PURPOSE_PRIVATE

A rede oferece suporte a sub-redes normais, que têm a finalidade de PRIVATE.

A rede não oferece suporte a sub-redes do Private Service Connect, sub-redes somente de proxy ou sub-redes NAT particulares. Para mais informações, consulte Finalidades das sub-redes.

GCE_ENDPOINT finalidade do endereço addressPurposes GCE_ENDPOINT

A rede oferece suporte a endereços IP com o propósito GCE_ENDPOINT, que é usado para endereços IP internos atribuídos a instâncias de VM.

A rede não oferece suporte a endereços IP de finalidade especial, como o SHARED_LOADBALANCER_VIP usado no Cloud Load Balancing. Para mais informações, consulte a referência do recurso de endereço.

Endereços IP externos para VMs allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED A rede não oferece suporte à atribuição de endereços IP externos a VMs. As NICs conectadas à rede não podem acessar a Internet pública.
Intervalos de IP de alias allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED A rede não oferece suporte ao uso de intervalos de IP de alias, incluindo intervalos de endereços IPv4 secundários, que só podem ser usados por intervalos de IP de alias.
Automática allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED O modo de criação de sub-rede da rede VPC não pode ser definido como modo automático.
Peering de rede VPC allowVpcPeering VPC_PEERING_BLOCKED A rede não oferece suporte ao peering de rede VPC. Além disso, a rede não oferece suporte ao acesso a serviços particulares, que depende do peering de rede VPC.
Rotas estáticas allowStaticRoutes STATIC_ROUTES_BLOCKED A rede não oferece suporte a rotas estáticas.
Espelhamento de pacotes allowPacketMirroring PACKET_MIRRORING_BLOCKED A rede não oferece suporte ao espelho de pacotes.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED A rede não é compatível com o Cloud NAT.
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED A rede não oferece suporte à criação de Cloud Routers.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED A rede não oferece suporte ao Cloud Interconnect.
Cloud VPN allowVpn VPN_BLOCKED A rede não oferece suporte ao Cloud VPN.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED A rede não oferece suporte ao Cloud Load Balancing. Não é possível criar balanceadores de carga na rede. Além disso, não é possível usar o Google Cloud Armor na rede, porque as políticas de segurança do Google Cloud Armor se aplicam apenas a balanceadores de carga e VMs com endereços IP externo.
Acesso privado do Google allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED A rede não oferece suporte ao Acesso privado do Google.
Private Service Connect allowPsc PSC_BLOCKED A rede não tem suporte para nenhuma configuração do Private Service Connect.

Outros recursos que não se aplicam ao tráfego de NICs RDMA

Como o RDMA é tráfego de camada 2, alguns recursos de redes VPC normais que estão disponíveis para o tráfego de outros protocolos não se aplicam ao tráfego em uma rede com o perfil de rede RDMA, como estes:

Considerações sobre o desempenho de várias NICs na mesma rede VPC

Para oferecer suporte a cargas de trabalho que se beneficiam da comunicação entre GPUs em trilhos cruzados, o perfil de rede RDMA permite criar VMs com várias NICs MRDMA anexadas à mesma rede. No entanto, a conectividade de trilho cruzado pode afetar o desempenho da rede, como o aumento da latência. As VMs com NICs MRDMA usam o NCCL, que tenta alinhar todas as transferências de rede, mesmo para comunicação entre linhas, por exemplo, usando PXN para copiar dados pelo NVlink para uma GPU alinhada à linha antes da transferência pela rede.

A seguir