O gargalo da inteligência artificial moderna
Você já precisou esperar alguns segundos para um modelo de IA responder a uma pergunta complexa? Esse tempo de espera – tecnicamente chamado de latência de inferência – é um dos maiores obstáculos para a adoção em larga escala da inteligência artificial em aplicações que exigem respostas em tempo real. A solução convencional é comprar mais GPUs ou desenvolver chips especializados. Uma startup francesa chamada Kog está apostando em uma abordagem radicalmente diferente.
Em vez de construir novo hardware, a Kog está indo fundo na otimização de software para extrair o máximo desempenho das GPUs que já existem nos grandes data centers do mundo. A empresa acredita que há um enorme potencial inexplorado no hardware atual – e os resultados iniciais sugerem que ela pode ter razão.
A distinção entre treinamento e inferência
Para entender a aposta da Kog, é preciso compreender uma distinção fundamental no mundo da IA: treinamento versus inferência. Treinamento é o processo de “ensinar” um modelo a partir de grandes volumes de dados – uma tarefa que exige processamento massivo e paralelo, para o qual as GPUs foram historicamente otimizadas. Inferência é o processo de usar um modelo já treinado para gerar respostas – o que acontece toda vez que você faz uma pergunta ao ChatGPT, pede ao Claude para revisar um texto ou usa qualquer ferramenta de IA generativa.
Para inferência, as características de desempenho necessárias são diferentes das do treinamento. E é exatamente aí que existe o gargalo. As GPUs disponíveis nos grandes data centers – como as AMD MI300X e as Nvidia H200, que a maioria das empresas de nuvem utiliza – têm capacidades subutilizadas para tarefas de inferência quando operadas com o software convencional.
“As GPUs têm um futuro brilhante”, disse Gaël Delalleau, CEO da Kog e ex-físico de formação, em entrevista ao TechCrunch. “A percepção de que elas não são adequadas para tarefas de decodificação está errada.” A empresa desenvolveu o Kog Inference Engine (KIE), um motor de inferência construído especificamente para explorar esse potencial oculto.
Resultados concretos: 3.000 tokens por segundo e um potencial de 30x
Os números apresentados pela Kog são impressionantes. Usando seu modelo compacto chamado Laneformer 2B – um modelo com 2 bilhões de parâmetros, otimizado especificamente para velocidade – a empresa demonstrou capacidade de gerar 3.000 tokens por segundo em uma única requisição. Para contextualizar: tokens são as unidades básicas de texto que os modelos de IA processam, e a maioria das palavras em português corresponde a aproximadamente 1 a 2 tokens. Uma resposta típica de um assistente de IA tem entre 200 e 500 tokens.
Mais significativo ainda é o potencial de longo prazo: a empresa projeta uma aceleração de até 30x em relação ao que é possível hoje em GPUs padrão de datacenters, utilizando as mesmas AMD MI300X e Nvidia H200 que já estão instaladas em grandes provedores de nuvem como AWS, Azure e Google Cloud.
Atingir esse nível de otimização não é trivial. A equipe da Kog dedica semanas ou até meses para cada chip que quer otimizar, realizando engenharia reversa nos detalhes de arquitetura de cada GPU – detalhes que muitas vezes não estão na documentação pública. É um trabalho intenso e altamente especializado.
Por que isso importa para o mercado de IA
Se a Kog conseguir entregar na promessa de aceleração de 30x, as implicações são enormes para o mercado global de IA. Pense assim: uma empresa que hoje gasta X em infraestrutura de GPU para rodar seus modelos de IA poderia, teoricamente, obter o mesmo desempenho com uma fração do custo – ou manter o mesmo custo e ter capacidade muito maior de processamento.
O custo de inferência é um dos maiores obstáculos para a democratização da IA. Startups e empresas menores frequentemente precisam gastar quantias significativas em infraestrutura de GPU para competir com grandes players que têm acesso a hardware exclusivo ou acordos preferenciais com fabricantes de chips. Se for possível extrair muito mais performance das mesmas GPUs já disponíveis via nuvem pública, essa barreira de entrada diminui consideravelmente.
Para o usuário final, o benefício é ainda mais direto: aplicações de IA mais rápidas e potencialmente mais baratas. Uma aceleração de 30x transformaria o que hoje é uma interação com pausas perceptíveis em uma experiência fluida e próxima do tempo real.
O foco inicial: ferramentas para desenvolvedores
A Kog está começando com um caso de uso específico: tarefas de engenharia de software. Esse é o mercado onde a latência de inferência tem o impacto mais imediato e mensurável. Assistentes de código precisam ser rápidos o suficiente para que o desenvolvedor não perca o raciocínio enquanto espera pela sugestão da IA.
Ferramentas como GitHub Copilot, Cursor e Windsurf já transformaram o fluxo de trabalho de desenvolvimento de software ao sugerir código em tempo real. Mas ainda existem limitações de velocidade em determinados contextos – especialmente quando o modelo precisa processar grandes quantidades de código ou responder a perguntas complexas sobre arquitetura de software. Uma melhoria drástica na velocidade de inferência poderia tornar essas ferramentas ainda mais eficazes e abrir espaço para novos tipos de assistência que hoje não seriam práticos.
A equipe e o modelo de negócio
A Kog é uma empresa pequena: 11 pessoas lideradas por Gaël Delalleau, cuja formação em física é um diferencial relevante. Físicos tendem a ter uma relação particular com a otimização de sistemas complexos – e a arquitetura interna de uma GPU moderna tem muito em comum com os sistemas físicos que eles estudam.
A empresa recebeu apoio do Bpifrance e do programa French Tech 2030, iniciativas do governo francês para suporte a startups de tecnologia de ponta. O modelo de negócio ainda está sendo definido, mas o próximo marco está bem claro: quando a Kog atingir uma aceleração comprovada de 10x (em vez dos 30x projetados a longo prazo), a empresa planeja abrir uma rodada Serie A para escalar as operações. A projeção é que esse marco seja atingido ainda em setembro de 2026.
Software versus hardware: uma aposta diferente
A abordagem da Kog vai na contramão da tendência dominante do mercado de IA, que investe bilhões no desenvolvimento de chips cada vez mais especializados. Empresas como Groq, Cerebras, e a própria Nvidia com suas GPUs de nova geração, apostam que o caminho é o hardware. A Kog está apostando que o software pode resolver o que muitos pensam que só novo hardware pode fazer.
Essa não é uma ideia sem precedentes na história da computação. Ao longo das décadas, otimizações de software conseguiram estender a vida útil e melhorar o desempenho de chips muito além do que seus criadores imaginaram. O JPEG, o MP3, as técnicas modernas de compressão de vídeo – todos são exemplos de como a engenharia de software extraiu muito mais de hardware limitado.
A questão é se esse princípio se aplica às GPUs de datacenter modernas da forma que a Kog acredita. Se a resposta for sim, estamos diante de um dos cases mais interessantes de inovação por intensidade – não de escala – que o mercado de IA vai presenciar nos próximos anos. E o benefício pode ser sentido por qualquer desenvolvedor ou empresa que use as nuvens públicas onde essas GPUs já estão instaladas.
O artigo completo foi publicado originalmente no TechCrunch.
