DeepScaler: O Novo Modelo de IA de Berkeley que Desafia Gigantes como OpenAI em Matemática

Uma nova era na inteligência artificial (IA) está se desenhando, marcada pelo surgimento de modelos menores, porém altamente especializados e eficientes. Recentemente, pesquisadores da Universidade da Califórnia em Berkeley apresentaram o DeepScaler, um modelo de linguagem com 1.5 bilhão de parâmetros que demonstrou superioridade em relação ao modelo O1-Preview da OpenAI em tarefas matemáticas complexas. Este avanço não apenas redefine o que é possível com modelos de IA compactos, mas também sinaliza uma democratização do acesso a tecnologias de ponta.

A Revolução dos Pequenos Gigantes: DeepScaler e a Nova Era da IA

O DeepScaler, especificamente a versão DeepScalerR-1.5B-Preview, é um modelo de linguagem ajustado (fine-tuned) a partir do DeepSeek-R1-Distilled-Qwen-1.5B. Sua principal façanha é superar o desempenho do O1-Preview da OpenAI em benchmarks de matemática, mesmo possuindo uma fração do tamanho e dos recursos computacionais geralmente associados a modelos de ponta. Esse resultado reforça a tese de que modelos especializados, treinados para tarefas específicas, podem ser mais eficientes e até superiores a modelos de conhecimento geral, muito maiores e mais custosos.

Estamos entrando na era dos "pequenos gigantes": modelos de IA que, apesar de seu tamanho reduzido – o DeepScaler é pequeno o suficiente para rodar em um smartphone –, entregam performance de alto nível em domínios específicos. Isso é possível graças a técnicas inovadoras de treinamento e otimização.

A Metodologia DeepSeek: Treinando IA com Recompensas Verificáveis

A base do sucesso do DeepScaler reside na aplicação da metodologia DeepSeek, que utiliza aprendizado por reforço (Reinforcement Learning - RL) com recompensas verificáveis. No aprendizado por reforço, um agente de IA aprende a tomar decisões realizando ações em um ambiente para maximizar alguma noção de recompensa cumulativa. No caso de tarefas como a resolução de problemas matemáticos, as "recompensas verificáveis" permitem que o modelo seja treinado de forma mais precisa, pois o sucesso de cada etapa da solução pode ser objetivamente avaliado.

Essa abordagem já havia sido explorada por outra equipe de Berkeley, que, com um investimento de apenas US$30, conseguiu replicar a essência do método DeepSeek para treinar um modelo a se destacar em um jogo de números, como mencionado em coberturas anteriores sobre o tema.

Aprendizado por Reforço Distribuído e Modelos de Recompensa

O treinamento do DeepScaler empregou aprendizado por reforço distribuído (Distributed Reinforcement Learning), o que sugere o uso de múltiplos clusters de computação, possivelmente espalhados geograficamente, para escalar o processo de treinamento e lidar com longas extensões de contexto. Isso otimiza o tempo e os recursos necessários.

Além disso, o DeepScaler utiliza um Modelo de Recompensa de Resultado (Outcome Reward Model - ORM) em vez de um Modelo de Recompensa de Processo (Process Reward Model - PRM). Um ORM recompensa o modelo com base no resultado final da tarefa (a resposta correta para um problema matemático, por exemplo). Já um PRM recompensaria cada etapa correta do processo de resolução. Embora o PRM possa parecer mais intuitivo para o aprendizado passo a passo, o ORM, como aplicado no DeepSeek-R1, foca na eficácia da solução final, evitando o "reward hacking" (quando o modelo aprende a explorar o sistema de recompensa sem necessariamente resolver o problema da melhor forma).

DeepScaler em Números: Superando o OpenAI O1-Preview em Matemática

Os resultados de benchmark são impressionantes. O DeepScalerR-1.5B-Preview alcançou 43.1% de precisão no AIME 2024 (American Invitational Mathematics Examination), superando os 40.0% do O1-Preview. No benchmark MATH500, o DeepScaler também levou vantagem. De fato, em diversas categorias de matemática geral, o modelo de 1.5 bilhão de parâmetros de Berkeley se mostrou superior.

Um gráfico comparativo apresentado na divulgação do modelo ilustra claramente essa superioridade: o DeepScaler (representado em roxo) atinge uma precisão mais alta no AIME 2024 com um tamanho de modelo significativamente menor (1.5B parâmetros) em comparação com o O1-Preview (cujo tamanho exato não é divulgado, mas é sabidamente massivo). O custo de treinamento do DeepScaler também é notável: aproximadamente US$4.500, utilizando cerca de 3.800 horas de GPU A100, uma redução de 18.42 vezes em comparação com os experimentos do DeepSeek-R1.

Implicações e o Futuro: IA Acessível e Poderosa

O projeto DeepScaler e seus componentes são de código aberto, o que é um grande passo para a democratização da pesquisa e desenvolvimento em IA. Isso permite que outros pesquisadores e desenvolvedores possam utilizar, modificar e construir sobre este trabalho.

A capacidade de rodar modelos tão competentes em hardware acessível, como smartphones, abre um leque de possibilidades para aplicações inovadoras. Além disso, o sucesso do DeepScaler desafia o mito de que o escalonamento do aprendizado por reforço beneficia apenas modelos grandes. Fica claro que, com dados de alta qualidade e técnicas de treinamento eficientes, modelos menores podem aprender a raciocinar de forma muito eficaz.

A Importância dos Dados de Alta Qualidade para Treinamento

Um ponto crucial destacado é o uso de "dados SFT (Supervised Fine-Tuning) de alta qualidade destilados de modelos maiores". Isso significa que, embora o modelo final seja pequeno, ele se beneficia do conhecimento extraído de modelos mais robustos durante seu processo de treinamento, uma técnica que se mostra cada vez mais valiosa.

Testando o DeepScaler: Desempenho na Prática

Demonstrações práticas, como as realizadas utilizando o LM Studio, mostram o DeepScaler (em sua versão GGUF quantizada) resolvendo problemas complexos de matemática do benchmark AIME 2024. Mesmo rodando em um hardware como um Apple M2 Mac, o modelo exibe um processo de "pensamento" detalhado, explorando múltiplas abordagens para chegar à solução, e o faz com velocidade considerável. A versão quantizada Q5_K_M, por exemplo, ocupa apenas 1.43GB, tornando-a extremamente acessível.

Em resumo, o DeepScaler não é apenas mais um modelo de IA; é um marco que evidencia uma tendência crescente na área: a busca por eficiência, especialização e acessibilidade. Ele prova que modelos menores, quando bem treinados e focados, podem não apenas competir, mas superar gigantes estabelecidos, redefinindo o futuro da inteligência artificial e tornando-a mais democrática e presente em nosso cotidiano.