Revolução em memória GPU: NVIDIA DGX GH200 rompe barreira dos 100 Terabytes
Lançado na COMPUTEX 2023, o novo supercomputador da NVIDIA promete transformar a computação acelerada por GPU, expandindo memória para cargas de trabalho de Inteligência Artificial
✅ Receba as notícias do Brasil 247 e da TV 247 no canal do Brasil 247 e na comunidade 247 no WhatsApp.
247 - Durante a COMPUTEX 2023, a NVIDIA fez um anúncio empolgante: o NVIDIA DGX GH200, um marco para a computação acelerada por GPU destinada a suportar as mais pesadas demandas de Inteligência Artificial (IA). Este artigo explica detalhadamente a arquitetura do NVIDIA DGX GH200, além de discutir como a NVIDIA Base Command possibilita uma rápida implementação, acelera a integração de usuários e simplifica o gerenciamento do sistema.
A tecnologia NVLink da NVIDIA, apresentada em 2016, aliada ao modelo de programação de memória unificada com CUDA-6, foram projetados para expandir a memória disponível para cargas de trabalho aceleradas por GPU. Isso representou um marco importante para a computação acelerada nos últimos 7 anos.
Hoje, com o lançamento do NVIDIA DGX GH200, essa barreira foi quebrada. Para atender à demanda de cientistas que enfrentam desafios cada vez maiores na IA, a NVIDIA uniu o NVIDIA Grace Hopper Superchip ao sistema NVLink Switch, permitindo integrar até 256 GPUs em um sistema NVIDIA DGX GH200. No DGX GH200, 144 terabytes de memória estarão acessíveis à memória compartilhada da GPU em alta velocidade via NVLink. Comparado a um único sistema NVIDIA DGX A100 320 GB, o NVIDIA DGX GH200 proporciona quase 500x mais memória ao modelo de memória compartilhada da GPU via NVLink, formando uma gigantesca GPU do tamanho de um data center.
A arquitetura do DGX GH200 é construída em torno do NVIDIA Grace Hopper Superchip e do sistema NVLink Switch. O NVIDIA Grace Hopper Superchip combina as arquiteturas Grace e Hopper com a tecnologia NVIDIA NVLink-C2C para oferecer um modelo de memória coerente de CPU + GPU. O NVLink Switch System, por sua vez, amplia a conexão NVLink em superchips para criar um sistema multi-GPU de alta largura de banda.
Cada superchip Grace Hopper do NVIDIA DGX GH200 possui 480 GB de memória CPU LPDDR5, e 96 GB de memória rápida HBM3. Estes superchips são interconectados com NVLink-C2C, oferecendo 7x mais largura de banda que PCIe Gen5 com um quinto da potência.
Com o DGX GH200, as threads da GPU podem acessar a memória HBM3 e LPDDR5X de outros superchips Grace Hopper na rede NVLink. As bibliotecas de aceleração NVIDIA Magnum IO otimizam as comunicações da GPU para eficiência, melhorando a escalabilidade do aplicativo com todas as 256 GPUs. Cada superchip Grace Hopper no DGX GH200 é emparelhado com um adaptador de rede NVIDIA ConnectX-7 e um NIC NVIDIA BlueField-3, oferecendo uma capacidade de computação em rede NVIDIA SHARP de 230.4 TFLOPS e duplicando a largura de banda efetiva do sistema de rede NVLink.
Para trabalho de IA e cargas de trabalho HPC que são limitadas pelo tamanho da memória da GPU, a grande expansão de memória da GPU promove uma melhoria significativa no desempenho. Além disso, outras cargas de trabalho, como modelos de recomendação de aprendizado profundo (DLRM) com terabytes de tabelas embutidas, modelos de treinamento de redes neurais em escala de terabytes, ou grandes cargas de trabalho de análise de dados, podem ver acelerações de 4x a 7x com o DGX GH200.
O DGX GH200 vem com a NVIDIA Base Command, que inclui um sistema operacional otimizado para cargas de trabalho de IA, gerenciador de cluster, bibliotecas que aceleram a infraestrutura de computação, armazenamento e rede. Isso permite que os clientes foquem na inovação sem se preocupar em gerenciar sua infraestrutura de TI.
NVIDIA planeja disponibilizar o DGX GH200 até o final deste ano, oferecendo uma oportunidade sem precedentes para os profissionais da IA resolverem os maiores desafios de hoje.
Saiba mais no NVIDIA Developer.
Assine o 247, apoie por Pix, inscreva-se na TV 247, no canal Cortes 247 e assista:
Comentários
Os comentários aqui postados expressam a opinião dos seus autores, responsáveis por seu teor, e não do 247