NVIDIA e Google: Reduzindo Custos de Inferência em IA com Nova Infraestrutura
NVIDIA e Google lançam infraestrutura que reduz custos de inferência em IA. Descubra como isso pode transformar o futuro da computação em nuvem.
No recente Google Cloud Next, a NVIDIA e o Google apresentaram inovações em sua infraestrutura que prometem revolucionar o custo da inferência em inteligência artificial (IA) em grande escala. O estande das duas gigantes da tecnologia destacou o lançamento das novas instâncias bare-metal A5X, projetadas para operar em sistemas de rack NVIDIA Vera Rubin NVL72. Essa nova arquitetura não só visa reduzir o custo da inferência em até dez vezes por token, como também aumenta a capacidade de processamento, permitindo um throughput dez vezes maior por megawatt.
Um dos principais desafios na execução de múltiplos processadores é garantir uma largura de banda suficiente para evitar atrasos no processamento. As instâncias A5X abordam essa questão ao integrar os SuperNICs NVIDIA ConnectX-9 com a tecnologia de rede Google Virgo. Essa configuração impressionante pode escalar até 80.000 GPUs NVIDIA Rubin dentro de um único cluster e até 960.000 GPUs em uma implementação multissite. Para operar em tal escala, é necessário um gerenciamento de carga de trabalho sofisticado, garantindo a sincronização exata para evitar períodos ociosos de computação.
Mark Lohmeyer, VP e GM de IA e Infraestrutura de Computação na Google Cloud, ressaltou a importância desse avanço: "Acreditamos que a próxima década da IA será moldada pela capacidade dos clientes de executar suas cargas de trabalho mais exigentes em uma infraestrutura otimizada para IA, verdadeiramente integrada". Segundo ele, a combinação da infraestrutura escalável e dos serviços gerenciados de IA do Google com as plataformas e software líderes de mercado da NVIDIA oferece aos clientes a flexibilidade necessária para treinar, ajustar e servir desde modelos abertos até cargas de trabalho de IA física, sempre otimizando desempenho, custo e sustentabilidade.
