Quando a rede importa
A rede de um cluster tem dois trabalhos: levar as mensagens entre os nós e levar os dados entre os nós e o armazenamento compartilhado.
O primeiro trabalho pesa quando uma mesma simulação roda espalhada por vários nós. Os processos trocam mensagens o tempo todo, e cada atraso se repete milhões de vezes. Em códigos assim, a rede decide se o tempo cai quando se dobra o número de nós.
Quando cada tarefa cabe num nó, como em varreduras de parâmetros, os nós quase não conversam entre si. Mesmo nesse caso, a rede precisa dar conta do disco: muitas tarefas lendo e gravando ao mesmo tempo também saturam uma rede lenta.
Antes de escolher, descubra se o seu código escala para vários nós. Medir o tempo com 1, 2, 4 e 8 nós responde a pergunta.
As opções
| InfiniBand | Ethernet com RDMA (RoCE) | Ethernet comum | |
|---|---|---|---|
| Projetada para | Comunicação entre nós de HPC e IA | Levar RDMA à rede Ethernet do data center | Rede de uso geral |
| Latência | Baixa, com RDMA nativo | Baixa, desde que switches e configuração sejam adequados | Maior, sem RDMA |
| Ponto de atenção | Pede equipe que conheça a tecnologia; há menos fornecedores | Controle de congestionamento e configuração precisam combinar com a implementação escolhida | Limita códigos que escalam por vários nós |
| Combina com | Simulação acoplada e treinamento de IA em vários nós | Equipe experiente em Ethernet e cargas mistas | Tarefas independentes que cabem num nó |
As gerações de InfiniBand levam nomes pela velocidade da porta: EDR (100 Gb/s), HDR (200 Gb/s), NDR (400 Gb/s) e XDR (800 Gb/s).
Do lado da Ethernet, o Ultra Ethernet Consortium publicou em 11 de junho de 2025 a especificação 1.0, uma pilha aberta voltada a IA e HPC, com transporte RDMA e controle de congestionamento próprios. A versão 1.1 foi anunciada em 12 de outubro de 2026. Equipamentos compatíveis ainda estão chegando ao mercado.
Critérios de escolha
- Tipo de código. Simulação acoplada que escala por muitos nós pede a menor latência que o orçamento permite. Tarefas independentes dependem mais da banda até o disco.
- Número de nós. Com poucos nós, um único switch liga todos. Com dezenas, a topologia passa a pesar no custo e no desempenho.
- Quem vai operar. Uma equipe que já administra Ethernet aprende RoCE mais rápido. InfiniBand pede conhecimento específico, que o treinamento e o suporte precisam cobrir.
- GPU em vários nós. O treinamento distribuído de modelos de IA é sensível à banda entre nós.
- Ligação com a rede da instituição. Ethernet conversa direto com a rede existente. InfiniBand precisa de um nó ou equipamento de ponte.
- Medição. Os testes OSU de latência e banda entram no aceite, qualquer que seja a escolha.
Exemplo brasileiro
O cluster Bohr, do Instituto de Física da Unicamp, noticiado pela Agência FAPESP em setembro de 2019, reuniu 920 núcleos, 4,32 TB de memória e rede InfiniBand EDR. É o porte de um grupo de pesquisa que roda simulação acoplada em vários nós.
Perguntas frequentes
Todo cluster precisa de InfiniBand?
Não. Quando cada tarefa cabe num nó, uma boa rede Ethernet costuma atender, desde que dê conta do acesso ao armazenamento. A rede de baixa latência faz diferença quando uma mesma simulação roda espalhada por vários nós.
O que é RoCE?
É RDMA sobre Ethernet convergente. Com RDMA, um nó lê e grava na memória de outro com pouca participação do processador. No RoCE, isso acontece sobre Ethernet, com controle de congestionamento e configuração adequados à implementação.
O que é Ultra Ethernet?
É uma especificação aberta de Ethernet para IA e HPC, do Ultra Ethernet Consortium. A versão 1.0 saiu em 11 de junho de 2025 e a 1.1 foi anunciada em 12 de outubro de 2026. Equipamentos compatíveis ainda estão chegando ao mercado.