O chip Nvidia H100 é o mais procurado do mundo

Parece que todo mundo quer colocar as mãos nos chips H100 da Nvidia atualmente.

A Microsoft e o Google, que estão desenvolvendo mecanismos de busca generativos baseados em IA, são alguns dos maiores clientes dos chips H100 da Nvidia. Fabricantes de servidores afirmam ter esperado mais de seis meses para receber seus últimos pedidos. Os investidores de capital de risco estão comprando chips H100 para as startups em que investem.

Mas não são apenas as empresas de tecnologia que procuram garantir os H100: a Arábia Saudita e os Emirados Árabes Unidos alegadamente adquiriram milhares destes chips de 40 mil dólares para construir as suas próprias aplicações de IA, de acordo com o Financial Times, que citou fontes não identificadas.

Essa grande demanda por um chip de uma empresa levou a um frenesi de compras. “Quem vai ganhar quantos H100 e quando é a maior fofoca do vale”, como disse Andrej Karpathy, da OpenAI, em um post no Twitter.

Até Elon Musk, em meio à sua obsessão em lutar contra Mark Zuckerberg, encontrou tempo para comentar sobre a escassez de chips da Nvidia. (Musk não identifica se está se referindo aos chips H100 – que foram lançados no ano passado – ou aos chips da Nvidia em geral. Mas os chips para IA certamente estão na moda no momento.) A Tesla de Musk está gastando US$ 1 bilhão para construir um novo supercomputador chamado Dojo. , para treinar sua frota de veículos autônomos e processar os dados deles. O plano Dojo começou, disse Musk, apenas porque Tesla não tinha o suficiente GPUs Nvidia – unidades de processamento gráfico, como são chamados esses chips. “Francamente... se eles pudessem nos fornecer GPUs suficientes, talvez não precisaríamos do Dojo”, disse Musk a investidores e analistas em uma teleconferência em julho. “Eles têm tantos clientes. Mesmo assim, eles foram gentis o suficiente para priorizar alguns de nossos pedidos de GPU.”

Se a Tesla tivesse conseguido receber da Nvidia o número de chips necessários, esses chips teriam ido para computadores especializados que treinariam a grande quantidade de dados de vídeo, que, diz Musk, são necessários para alcançar uma “solução generalizada para a autonomia”. ”

Os dados precisam ser processados ​​de alguma forma. Portanto, o Dojo foi projetado para ser otimizado para treinamento em vídeo, e não para sistemas generativos de IA, para processar a quantidade de dados necessária para veículos autônomos, disse Musk, o que é importante para alcançar uma direção autônoma que seja mais segura do que a direção humana.

Grandes modelos de linguagem (LLMs) são treinados em grandes quantidades de dados para gerar respostas complexas a perguntas. Mas a integração de LLMs em aplicações do mundo real, como motores de busca, requer muito poder computacional.

Em um estudo, pesquisadores da Universidade de Washington e da Universidade de Sydney analisaram os altos custos de administração de LLMs. O Google processa mais de 99.000 consultas de pesquisa por segundo. Se o GPT-3 fosse incorporado em cada consulta, e assumindo que cada consulta gera 500 tokens, que são objetos que representam o direito de realizar alguma operação, o Google precisaria de cerca de 2,7 bilhões de GPUs A100 – um chip de IA da Nvidia mais antigo – para manter acima. O custo dessas GPUs ultrapassaria US$ 40 bilhões apenas em despesas de capital, estimaram os pesquisadores.

O que o Google e outras empresas precisam é de um chip mais poderoso que tenha melhor desempenho pelo mesmo preço ou por menos, disse Willy Shih, professor de práticas de gestão na Harvard Business School e que trabalhou anteriormente na IBM e na Silicon Valley Graphics. Digite a Nvidia H100, em homenagem à cientista da computação Grace Hopper. O H100 é adaptado para IA generativa e funciona mais rápido que os modelos anteriores. Quanto mais poderosos os chips, mais rápido você pode processar as consultas, disse Shih.

A demanda por chips de IA de alto desempenho tem sido uma bênção para a Nvidia, que domina o mercado – em parte devido à sorte – enquanto os concorrentes lutam para alcançá-la.

À medida que as startups generativas de IA trabalham na expansão e se vêem com falta de H100s, isso apresenta oportunidades para concorrentes – como Amazon e Google, que estão trabalhando na construção de seus próprios chips semelhantes aos da Nvidia – para estarem à altura da situação. Os chips da Amazon são chamados Inferentia e Tranium; As do Google são unidades de processamento tensor.