A Rede por Trás do Treinamento de IA Descubra Como Funciona
Existe um gargalo que pode custar milhões em GPUs ociosas. Entenda como funciona a rede por trás do treinamento de IA e por que ela decide tudo.
A rede por trás do treinamento de IA é o conjunto de tecnologias de interconexão que permite milhares de GPUs trabalharem como se fossem um único processador gigante. Quando um modelo de linguagem com bilhões de parâmetros é treinado, essas GPUs precisam trocar gradientes entre si a cada fração de segundo.
Muitas análises sobre inteligência artificial focam apenas no poder de processamento das GPUs. Isso ignora o elo que realmente limita o desempenho de um cluster de treinamento distribuído.
Este artigo explica de forma técnica como funciona a rede por trás do treinamento de IA, quais protocolos disputam a preferência dos maiores operadores de infraestrutura do mundo, e por que essa escolha pesa tanto no orçamento quanto na velocidade final de um projeto de machine learning.
O Que Sustenta o Treinamento de Grandes Modelos de IA
Entender a rede por trás do treinamento de IA exige compreender primeiro o que acontece durante cada etapa de sincronização entre GPUs. Esse processo, chamado all-reduce, é o coração da computação distribuída em clusters de GPU.
Cada operação de all-reduce precisa terminar em milissegundos. Quando a interconexão de GPUs falha nesse ponto, o hardware fica parado esperando dados, e o tempo ocioso vira custo financeiro direto.
Por Que a Latência de Rede se Tornou o Gargalo Real
A resposta está na evolução acelerada do hardware. As GPUs avançaram tão rápido que a capacidade de processamento deixou de ser o fator limitante em clusters de larga escala.
Um cluster H100 de grande porte pode gastar entre 15% e 30% dos seus ciclos aguardando operações de rede durante grandes rodadas de all-reduce. Esse desperdício ocorre mesmo em ambientes tecnicamente bem configurados.
Por isso, a rede por trás do treinamento de IA passou a ser tratada como componente estratégico, no mesmo nível de prioridade que a escolha da própria GPU.
Comunicação Intra-Nó: NVLink e NVSwitch
Antes de qualquer dado sair de um servidor, ele precisa circular entre as GPUs internas dessa mesma máquina. Essa camada interna é a base de toda a eficiência da rede por trás do treinamento de IA em escala maior.
NVLink: A Interconexão de Alta Velocidade entre GPUs
O NVLink é uma tecnologia proprietária da NVIDIA criada para substituir o barramento PCIe na comunicação direta entre GPUs. Ele elimina o gargalo tradicional do PCIe, que em sua quarta geração entrega apenas 64 GB/s.
Cada geração do NVLink trouxe saltos expressivos de largura de banda. Na arquitetura Hopper, a quarta geração oferece 900 GB/s por GPU, enquanto a quinta geração, usada no GB200 NVL72, chega a 130 TB/s de comunicação GPU a GPU entre múltiplos servidores.
NVSwitch: O Chip que Conecta Tudo Dentro do Nó
O NVSwitch não é um switch externo tradicional. Ele é um chip encapsulado dentro do próprio módulo da GPU, responsável por conectar todas as GPUs de um servidor em topologia full-mesh, elemento essencial na rede por trás do treinamento de IA.
Segundo dados técnicos, o NVSwitch mantém a largura de banda por GPU praticamente constante em 900 GB/s, independentemente de o fabric ter 2, 4 ou 8 GPUs. Topologias sem switch degradam a performance à medida que o número de GPUs cresce.
O NVSwitch também integra o recurso SHARP, que realiza operações de redução matemática diretamente dentro do switch, sem exigir que os dados percorram todo o caminho até a CPU.
Largura de banda NVSwitch por geração de GPU
H100/H200 (NVLink 4) █████████████░░░░░░░ 900 GB/s
B200 (NVLink 5) ███████████████████░ 1,8 TB/s
GB200 NVL72 (rack) ████████████████████ 130 TB/s (multi-nó)
InfiniBand ou RoCE: A Escolha que Define o Cluster
Depois que os dados saem de um servidor, eles precisam trafegar entre máquinas diferentes. É nesse ponto que entra a decisão mais debatida na rede por trás do treinamento de IA: InfiniBand ou Ethernet com RoCE.
Essa escolha impacta diretamente o custo total do cluster, a previsibilidade da latência e a complexidade operacional da equipe de rede.
RDMA: A Base da Comunicação de Baixa Latência
O RDMA, ou acesso remoto direto à memória, é a tecnologia central que torna possível a comunicação de baixa latência entre GPUs em servidores diferentes. Ele permite que uma GPU escreva diretamente na memória de outra, sem envolver o processador central de nenhum dos dois lados.
Essa característica elimina cópias intermediárias e reduz drasticamente o overhead de comunicação. O resultado é latência menor e taxa de operações por segundo muito superior à de redes convencionais.
InfiniBand: O Padrão Histórico de Baixa Latência
O InfiniBand foi projetado desde o início para workloads de RDMA e computação de alto desempenho. Ele utiliza controle de fluxo baseado em créditos, o que torna a rede sem perdas por design.
A geração atual, chamada InfiniBand NDR, entrega 400 Gb/s por porta, com a próxima geração XDR prometendo dobrar essa taxa para 800 Gb/s.
Um servidor NVIDIA HGX H100 típico utiliza oito placas ConnectX-7, uma por GPU, garantindo 400 Gb/s dedicados de largura de banda por GPU dentro da rede por trás do treinamento de IA.
RoCE: A Alternativa Ethernet que Ganhou Espaço
O RoCEv2 trouxe a tecnologia RDMA para dentro do ecossistema Ethernet, transportando o tráfego sobre UDP e IP. Essa abordagem tornou a infraestrutura mais acessível para equipes já familiarizadas com redes Ethernet tradicionais.
Segundo dados do setor, o RoCEv2 configurado corretamente entrega entre 85% e 95% do throughput de treinamento do InfiniBand para implantações de 256 a 1.024 GPUs. Os clusters de 24 mil GPUs da Meta operam sobre RoCEv2 em Ethernet padrão, comprovando que a tecnologia funciona em escala hiperescalar.
Comparativo Técnico Entre as Duas Tecnologias
A tabela abaixo resume os principais critérios usados para decidir qual protocolo compõe a rede por trás do treinamento de IA em cada tipo de projeto.
| Critério | InfiniBand NDR | RoCEv2 (Ethernet) |
|---|---|---|
| Latência típica | 1 a 2 microssegundos. | 2 a 5 microssegundos. |
| Throughput | 400 a 800 Gb/s por porta. | Equivalente em portas comparáveis. |
| Controle de fluxo | Baseado em créditos, nativo. | PFC e ECN, exige ajuste fino. |
| Custo por porta | 1,5 a 2,5 vezes mais caro. | Menor custo total. |
| Uso em hiperescala | Amplamente validado. | Validado pela Meta em 24 mil GPUs. |
Topologia de Rede em Clusters de GPU
A rede por trás do treinamento de IA não se resume à escolha do protocolo. A forma como os switches são organizados fisicamente determina se milhares de GPUs conseguem se comunicar sem gargalos.
Arquitetura Fat-Tree e Spine-Leaf
A topologia mais usada em clusters de GPU de grande escala é a Fat-Tree de dois níveis, também chamada de Spine-Leaf. Nessa estrutura, cada grupo contém oito switches leaf, correspondendo às oito GPUs de uma máquina.
Considerando um switch leaf com 128 portas, sendo 64 conectadas às NICs das GPUs, um único grupo pode suportar 512 GPUs. Essa organização modular permite escalar a rede por trás do treinamento de IA sem redesenhar toda a infraestrutura.
Topologia Rail-Optimized
Uma prática avançada é a topologia rail-optimized, em que a NIC-0 de cada servidor se conecta ao mesmo switch leaf, as NIC-1 se conectam a outro switch leaf comum, e assim sucessivamente.
Esse desenho maximiza o desempenho de operações all-reduce e minimiza a interferência entre fluxos de dados, além de reduzir o custo geral da rede por trás do treinamento de IA.
Distribuição típica de tráfego em cluster de treinamento
Intra-nó (NVLink/NVSwitch) ████████████████████ ~90%
Inter-nó mesma unidade escalável ██████░░░░░░░░░░░░░░ ~7%
Inter-nó entre unidades escaláveis ██░░░░░░░░░░░░░░░░░░ ~3%
Vantagens e Desvantagens de Cada Abordagem
Escolher a arquitetura correta para a rede por trás do treinamento de IA exige avaliar prós e contras considerando o tamanho do cluster e o orçamento disponível.
Pontos Fortes do InfiniBand
- Latência extremamente previsível, essencial para treinamentos altamente sincronizados.
- Rede sem perdas por design, sem necessidade de ajustes manuais complexos de buffer.
- Suporte nativo ao SHARP, que acelera operações coletivas dentro do próprio switch.
- Consolidado como padrão em clusters de treinamento de modelos de fronteira.
Pontos Fracos do InfiniBand
- Custo por porta significativamente mais alto que alternativas Ethernet.
- Exige equipe especializada, o que aumenta o custo operacional total.
- Ecossistema de fornecedores mais restrito, gerando dependência tecnológica.
Pontos Fortes do RoCE sobre Ethernet
- Aproveita conhecimento já existente das equipes de rede em ambientes corporativos.
- Ecossistema multivendor, com maior liberdade de escolha de fornecedores.
- Custo total de propriedade mais baixo para clusters de médio porte.
- Validado em escala hiperescalar por grandes operadores de infraestrutura.
Pontos Fracos do RoCE sobre Ethernet
- Exige ajuste fino de PFC e ECN para manter a rede sem perdas sob carga.
- Historicamente mais suscetível a instabilidades de latência de cauda.
- Não possui equivalente direto ao SHARP para aceleração de reduções coletivas.
Perguntas Frequentes Sobre a Rede por Trás do Treinamento de IA
A rede por trás do treinamento de IA realmente impacta o custo final do projeto?
Sim, de forma direta. Um cluster mal configurado pode gastar entre 15% e 30% do tempo de GPU apenas aguardando sincronização de rede. Esse desperdício se traduz em custo real, já que o aluguel de GPUs é cobrado independentemente de elas estarem processando ou ociosas.
Por que empresas como a Meta optaram por Ethernet em vez de InfiniBand?
A decisão reflete fatores econômicos e operacionais. O Ethernet com RoCEv2 aproveita equipes de rede já capacitadas, reduz o custo por porta e, quando bem configurado, entrega desempenho equivalente ao InfiniBand mesmo em clusters de dezenas de milhares de GPUs.
É possível migrar de InfiniBand para RoCE sem perder desempenho?
A migração é tecnicamente viável, mas exige planejamento cuidadoso de PFC, ECN e da topologia rail-optimized. Sem esse ajuste fino, a rede pode apresentar perda de pacotes sob carga intensa, comprometendo a eficiência das operações de all-reduce.
Veredito
A rede por trás do treinamento de IA deixou de ser um detalhe técnico secundário e passou a ocupar posição central no planejamento de qualquer cluster de larga escala. A combinação entre NVLink, NVSwitch e a camada externa de InfiniBand ou RoCE determina se o investimento em GPUs será realmente aproveitado.
Não existe resposta única sobre qual tecnologia é superior. Clusters que exigem latência mínima e previsibilidade absoluta ainda encontram no InfiniBand a escolha mais segura. Operações de médio porte, com equipes familiarizadas com Ethernet, tendem a obter excelente custo-benefício com RoCEv2 bem configurado.
No fim, a decisão certa sobre a rede por trás do treinamento de IA é aquela que equilibra escala, orçamento e maturidade operacional da equipe responsável pela infraestrutura.
