Perfil de rede RDMA
Esta página oferece uma visão geral do perfil de rede RDMA no Google Cloud.
Sobre o perfil de rede RDMA
O perfil de rede RDMA permite criar uma rede de nuvem privada virtual (VPC, na sigla em inglês)
em que é possível executar workloads de IA em instâncias de VM com
NICs NVIDIA ConnectX-7. Essas NICs oferecem suporte à conectividade de acesso direto à memória remota (RDMA, na sigla em inglês)
e têm o tipo de NIC MRDMA
no Google Cloud.
Uma rede VPC com o perfil de rede RDMA oferece suporte à comunicação RDMA de baixa latência e alta largura de banda entre as GPUs das VMs criadas na rede usando RDMA sobre Ethernet convergente v2 (RoCE v2).
Para mais informações sobre como executar cargas de trabalho de IA no Google Cloud, consulte a documentação do AI Hypercomputer.
Especificações
As redes VPC criadas com o perfil de rede RDMA têm as seguintes especificações:
- A rede só aceita anexos de NICs
MRDMA
. As VMs A3 Ultra são o único tipo de VM que oferece suporte a NICsMRDMA
. Outros tipos de NIC, como as GVNICs de uma VM A3 Ultra, precisam ser anexadas a uma rede VPC normal. - O conjunto de recursos com suporte na rede é pré-configurado pelo Google Cloud para oferecer suporte a cargas de trabalho de IA que exigem RDMA. As redes VPC com o perfil de rede RDMA têm mais restrições do que as redes VPC normais. Para mais informações, consulte Recursos com e sem suporte.
- A rede é limitada à zona do perfil de rede especificado ao criar a rede. Por exemplo, todas as instâncias criadas na rede precisam ser criadas na zona do perfil de rede. Para mais informações, consulte Zonas com suporte. Além disso, todas as sub-redes que você criar na rede precisam estar na região que corresponde à zona do perfil de rede.
- O nome do recurso do perfil de rede RDMA especificado ao
criar a rede tem o formato
ZONE-vpc-roce
, por exemplo,europe-west1-b-vpc-roce
. - A MTU padrão em uma rede VPC criada com o perfil de rede
RDMA é
8896
. Esse padrão dá ao driver RDMA no SO convidado da VM a flexibilidade para usar uma MTU adequada. A MTU padrão em redes VPC normais (1460
) pode ser muito pequena para algumas cargas de trabalho de RDMA. Para ter o melhor desempenho, o Google recomenda que você não mude o MTU padrão.
Zonas com suporte
O perfil de rede RDMA está disponível nas seguintes zonas:
europe-west1-b
us-east7-c
Recursos compatíveis e incompatíveis
Esta seção descreve os recursos com e sem suporte nas redes VPC criadas com o perfil de rede RDMA.
Os recursos de redes VPC normais são compatíveis, a menos que sejam configurados para serem desativados pelo perfil de rede, dependam de um recurso desativado pelo perfil de rede ou não se apliquem ao tráfego de NICs RDMA, conforme descrito nesta seção.
Recursos configurados pelo perfil de rede
Esta tabela lista os recursos específicos configurados pelo recurso de perfil de rede e descreve se eles têm suporte ou não em redes VPC criadas com o perfil de rede RDMA. Ele inclui os valores de propriedade do perfil de rede definidos pelo Google Cloud.
Recurso | Compatível | Nome da propriedade | Valor da propriedade | Detalhes |
---|---|---|---|---|
NICs MRDMA |
interfaceTypes |
MRDMA |
A rede só oferece suporte a NICs A rede não oferece suporte a outros tipos de NIC, como |
|
Várias placas de rede na mesma rede | allowMultiNicInSameNetwork |
MULTI_NIC_IN_SAME_NETWORK_ALLOWED |
A rede oferece suporte a VMs multi-NIC, em que diferentes NICs da mesma VM podem usar a mesma rede VPC.
Consulte Considerações sobre desempenho para várias NICs na mesma rede VPC. |
|
Sub-redes somente IPv4 | allowedSubnetStackTypes |
SUBNET_STACK_TYPE_IPV4_ONLY |
A rede oferece suporte a sub-redes somente IPv4, incluindo os mesmos intervalos válidos de IPv4 que as redes VPC comuns. A rede não oferece suporte a sub-redes de pilha dupla ou somente IPv6. Para mais informações, consulte Tipos de sub-redes. |
|
Finalidade da sub-rede PRIVATE |
allowedSubnetPurposes |
SUBNET_PURPOSE_PRIVATE |
A rede oferece suporte a sub-redes normais, que têm a finalidade de
A rede não oferece suporte a sub-redes do Private Service Connect, sub-redes somente de proxy ou sub-redes NAT particulares. Para mais informações, consulte Finalidades das sub-redes. |
|
GCE_ENDPOINT finalidade do endereço |
addressPurposes |
GCE_ENDPOINT |
A rede oferece suporte a endereços IP com o propósito A rede não oferece suporte a endereços IP de finalidade especial, como
o |
|
Endereços IP externos para VMs | allowExternalIpAccess |
EXTERNAL_IP_ACCESS_BLOCKED |
A rede não oferece suporte à atribuição de endereços IP externos a VMs. As NICs conectadas à rede não podem acessar a Internet pública. | |
Intervalos de IP de alias | allowAliasIpRanges |
ALIAS_IP_RANGE_BLOCKED |
A rede não oferece suporte ao uso de intervalos de IP de alias, incluindo intervalos de endereços IPv4 secundários, que só podem ser usados por intervalos de IP de alias. | |
Automática | allowAutoModeSubnet |
AUTO_MODE_SUBNET_BLOCKED |
O modo de criação de sub-rede da rede VPC não pode ser definido como modo automático. | |
Peering de rede VPC | allowVpcPeering |
VPC_PEERING_BLOCKED |
A rede não oferece suporte ao peering de rede VPC. Além disso, a rede não oferece suporte ao acesso a serviços particulares, que depende do peering de rede VPC. | |
Rotas estáticas | allowStaticRoutes |
STATIC_ROUTES_BLOCKED |
A rede não oferece suporte a rotas estáticas. | |
Espelhamento de pacotes | allowPacketMirroring |
PACKET_MIRRORING_BLOCKED |
A rede não oferece suporte ao espelho de pacotes. | |
Cloud NAT | allowCloudNat |
CLOUD_NAT_BLOCKED |
A rede não é compatível com o Cloud NAT. | |
Cloud Router | allowCloudRouter |
CLOUD_ROUTER_BLOCKED |
A rede não oferece suporte à criação de Cloud Routers. | |
Cloud Interconnect | allowInterconnect |
INTERCONNECT_BLOCKED |
A rede não oferece suporte ao Cloud Interconnect. | |
Cloud VPN | allowVpn |
VPN_BLOCKED |
A rede não oferece suporte ao Cloud VPN. | |
Cloud Load Balancing | allowLoadBalancing |
LOAD_BALANCING_BLOCKED |
A rede não oferece suporte ao Cloud Load Balancing. Não é possível criar balanceadores de carga na rede. Além disso, não é possível usar o Google Cloud Armor na rede, porque as políticas de segurança do Google Cloud Armor se aplicam apenas a balanceadores de carga e VMs com endereços IP externo. | |
Acesso privado do Google | allowPrivateGoogleAccess |
PRIVATE_GOOGLE_ACCESS_BLOCKED |
A rede não oferece suporte ao Acesso privado do Google. | |
Private Service Connect | allowPsc |
PSC_BLOCKED |
A rede não tem suporte para nenhuma configuração do Private Service Connect. |
Outros recursos que não se aplicam ao tráfego de NICs RDMA
Como o RDMA é tráfego de camada 2, alguns recursos de redes VPC normais que estão disponíveis para o tráfego de outros protocolos não se aplicam ao tráfego em uma rede com o perfil de rede RDMA, como estes:
Considerações sobre o desempenho de várias NICs na mesma rede VPC
Para oferecer suporte a cargas de trabalho que se beneficiam da comunicação entre GPUs em trilhos cruzados, o
perfil de rede RDMA permite criar VMs com várias NICs MRDMA
anexadas à mesma rede. No entanto, a conectividade de trilho cruzado
pode afetar o desempenho da rede, como o aumento da latência. As VMs com NICs MRDMA
usam o NCCL,
que tenta alinhar todas as transferências de rede, mesmo para comunicação entre
linhas, por exemplo, usando PXN para copiar dados pelo NVlink para uma
GPU alinhada à linha antes da transferência pela rede.