Patronus AI, a startup de avaliação de inteligência artificial apoiada por $20 milhões de investidores, incluindo Parceiros de Venture Lightspeed e Datadog, desvelou uma nova arquitetura de treinamento terça-feira que diz representar uma mudança fundamental na forma como os agentes de IA aprendem a realizar tarefas complexas.
A tecnologia, que a empresa chama de "Simuladores Generativos," cria ambientes de simulação adaptativa que continuamente geram novos desafios, atualizam regras dinamicamente e avaliam o desempenho de um agente à medida que aprende — Tudo em tempo real. A abordagem marca uma saída dos benchmarks estáticos que há muito servem como padrão da indústria para medir as capacidades de IA, mas estão cada vez mais sob fogo por não prever o desempenho do mundo real.
"Os benchmarks tradicionais medem capacidades isoladas, mas eles perdem as interrupções, mudanças de contexto e tomadas de decisões em camadas que definem trabalho real", disse Anand Kannappan, diretor executivo e co-fundador da Patronus AI, em uma entrevista exclusiva com VentureBeat. "Para os agentes actuarem a nível humano, precisam de aprender como os humanos—através de experiência dinâmica e feedback contínuo."
O anúncio chega em um momento crítico para a indústria de IA. Agentes de IA estão remodelando o desenvolvimento de software, desde a escrita de código até a execução de instruções complexas. No entanto, agentes baseados em LLM são propensos a erros e muitas vezes executar mal em tarefas complicadas, multi-passos. Pesquisa publicada no início deste ano descobriu que um agente com apenas um Taxa de erro de 1% por etapa pode composto a uma chance de 63% de falha pelo centésimo passo — Uma estatística preocupante para as empresas que procuram implantar sistemas autónomos de IA em escala.
Por que os benchmarks de IA estáticos estão falhando — e o que vem a seguir
A abordagem da Patronus AI aborda o que a empresa descreve como um crescente descompasso entre como os sistemas de IA são avaliados e como eles realmente funcionam na produção. Os benchmarks tradicionais, argumenta a empresa, funcionam como testes padronizados: medem capacidades específicas em um ponto fixo no tempo, mas lutam para capturar a natureza confusa e imprevisível do trabalho real.
A nova Simuladores Generativos arquitetura muda este modelo. Em vez de apresentar agentes com um conjunto fixo de perguntas, o sistema gera atribuições, condições ambientais e processos de supervisão em tempo real, em seguida, se adapta com base em como o agente se comporta.
"No ano passado, vimos uma mudança de referências estáticas tradicionais para áreas de aprendizagem mais interativas", disse Rebecca Qian, diretora de tecnologia e co-fundadora da Patronus AI, à VentureBeat. "Isso é em parte por causa da inovação que vimos de desenvolvedores de modelos — a mudança para o reforço aprendizagem, pós-treinamento, e aprendizagem contínua, e longe de afinação de instrução supervisionada. O que isso significa é que houve um colapso na distinção entre formação e avaliação. Os benchmarks tornaram-se ambientes."
A tecnologia baseia-se na aprendizagem do reforço — Uma abordagem em que os sistemas de IA aprendem através de tentativas e erros, recebendo recompensas por ações corretas e penalidades por erros. A aprendizagem de reforço é uma abordagem em que os sistemas de IA aprendem a tomar decisões ótimas recebendo recompensas ou penalidades por suas ações, melhorando por meio de tentativas e erros. RL pode ajudar agentes a melhorar, mas normalmente requer desenvolvedores para reescrever extensivamente seu código. Isso desencoraja a adoção, embora os dados gerados por esses agentes possam aumentar significativamente o desempenho através do treinamento de LR.
Patronus AI também introduziu um novo conceito que chama "Auto-melhoramento recursivo aberto," ou ORSI — ambientes onde os agentes podem melhorar continuamente através da interação e feedback sem exigir um ciclo de reciclagem completo entre as tentativas. A empresa posiciona esta como uma infraestrutura crítica para o desenvolvimento de sistemas de IA capazes de aprender continuamente em vez de ser congelada em um momento no tempo.
Dentro da ‘Zona de Ouro’: Como o treinamento adaptativo de IA encontra o ponto doce
No coração de Simuladores Generativos está o que Patronus AI chama de "ajustador de currículo" — um componente que analisa o comportamento do agente e modifica dinamicamente a dificuldade e a natureza dos cenários de treinamento. A abordagem inspira-se em como os professores humanos eficazes adaptar sua instrução com base no desempenho do estudante.
Qian explicou a abordagem usando uma analogia: "Você pode pensar nisso como um modelo professor-aluno, onde estamos treinando o modelo e o professor adapta continuamente o currículo."
Esta abordagem adaptativa aborda um problema que Kannappan descreveu como encontrando a "Zona de Ouro" em dados de treinamento — garantir que os exemplos não são demasiado fáceis nem demasiado difíceis para um determinado modelo aprender com eficácia.
"O importante não é apenas se você pode treinar em um conjunto de dados, mas se você pode treinar em um conjunto de dados de alta qualidade que está sintonizado com o seu modelo—um que pode realmente aprender com", disse Kannappan. "Queremos ter certeza de que os exemplos não são muito difíceis para o modelo, nem muito fácil."
A empresa diz que os resultados iniciais mostram melhorias significativas no desempenho do agente. O treinamento nos ambientes da Patronus AI aumentou as taxas de conclusão de tarefas em 10% a 20% em tarefas do mundo real, incluindo engenharia de software, atendimento ao cliente e análise financeira, de acordo com a empresa.
O problema de trapaça da IA: Como ambientes de ‘mudança de alvo’ impedem a invasão de recompensas
Um dos desafios mais persistentes na formação de agentes de IA através da aprendizagem de reforço é um fenômeno que os pesquisadores chamam de "hackear recompensa"—onde os sistemas aprendem a explorar lacunas no seu ambiente de formação, em vez de resolver verdadeiramente problemas. Exemplos famosos incluem os primeiros agentes que aprenderam a se esconder em cantos de videogames ao invés de realmente jogá-los.
Simuladores Generativos aborda isso, tornando o ambiente de treinamento em si um alvo em movimento.
"A invasão de recompensa é fundamentalmente um problema quando os sistemas são estáticos. É como os alunos aprendendo a trapacear em um teste", disse Qian. "Mas quando estamos continuamente evoluindo o ambiente, podemos realmente olhar para partes do sistema que precisam se adaptar e evoluir. Os benchmarks estáticos são alvos fixos; ambientes geradores de simuladores são alvos móveis."
Patronus AI relata 15x crescimento da receita como demanda empresarial por aumento da formação de agentes
Patronus AI posiciona Generative Simulators como a base para uma nova linha de produtos que chama "Ambientes RL" — Os meios de formação concebidos para laboratórios de modelos de fundação e para agentes de construção de empresas para domínios específicos. A empresa diz que esta oferta representa uma expansão estratégica além de seu foco original em ferramentas de avaliação.
"Crescemos 15x em receita este ano, em grande parte devido aos ambientes de alta qualidade que desenvolvemos e que têm se mostrado extremamente apreensíveis por diferentes tipos de modelos de fronteira", disse Kannappan.
O CEO recusou-se a especificar os números absolutos de receita, mas disse que o novo produto permitiu que a empresa "move mais acima a pilha em termos de onde vendemos e para quem vendemos". A plataforma da empresa é usada por inúmeras empresas da Fortune 500 e empresas líderes de IA em todo o mundo.
Por que OpenAI, Anthropic e Google não podem construir tudo internamente
Uma questão central que se coloca Patronus AI é por isso que os laboratórios de grande porte desenvolvem modelos de fronteira—organizações como OpenAI, Antrópico, e Google DeepMind — licenciaria a infraestrutura de treinamento em vez de construí-la eles mesmos.
Kannappan reconheceu que essas empresas "estão investindo significativamente em ambientes", mas argumentou que a amplitude de domínios que requerem treinamento especializado cria uma abertura natural para terceiros fornecedores.
"Eles querem melhorar os agentes em muitos domínios diferentes, seja codificação ou uso de ferramentas ou navegação de navegadores ou fluxos de trabalho em finanças, saúde, energia e educação", disse ele. "A resolução de todos esses diferentes problemas operacionais é muito difícil para uma única empresa."
A paisagem competitiva está a intensificar-se. Microsoft lançado recentemente Agente Relâmpago, um framework de código aberto que faz a aprendizagem de reforço funcionar para qualquer agente de IA sem reescrever. NVIDIA Ginásio NeMo oferece infraestrutura modular RL para o desenvolvimento de sistemas de IA agentes. Meta- investigadores libertados DreamGym em novembro, um framework que simula ambientes RL e ajusta dinamicamente a dificuldade da tarefa à medida que os agentes melhoram.
«Ambiente é o novo óleo»: a aposta audaciosa da Patronus AI no futuro da formação em IA
Olhando para o futuro, Patronus IA enquadra sua missão em termos abrangentes. A empresa quer "ambientalizar todos os dados do mundo" — converter fluxos de trabalho humanos em sistemas estruturados com os quais a IA pode aprender.
"Nós pensamos que tudo deve ser um ambiente—internamente, brincamos que os ambientes são o novo óleo", disse Kannappan. "A aprendizagem de reforço é apenas um método de treinamento, mas a construção de um ambiente é o que realmente importa."
Qian descreveu a oportunidade em termos expansivos: "Este é um campo de pesquisa inteiramente novo, que não acontece todos os dias. A simulação gerativa é inspirada na pesquisa inicial em robótica e em agentes encarnados. Tem sido um sonho há décadas, e só agora somos capazes de alcançar essas ideias por causa das capacidades dos modelos de hoje."
A empresa lançou em setembro de 2023 com foco na avaliação — ajudar as empresas a identificar alucinações e problemas de segurança nas saídas de IA. Essa missão expandiu-se a montante para o próprio treino. Patronus AI argumenta que a separação tradicional entre avaliação e formação está em colapso — e que quem controla os ambientes onde os agentes de IA aprendem irá moldar as suas capacidades.
"Estamos realmente neste ponto crítico, neste ponto de inflexão, onde o que fazemos agora irá impactar o que o mundo vai parecer para as gerações vindouras", disse Qian.
Se Simuladores Generativos pode cumprir essa promessa permanece para ser visto. O crescimento da receita de 15x da empresa sugere que os clientes empresariais estão famintos por soluções, mas os jogadores Microsoft para Meta estão correndo para resolver o mesmo problema fundamental. Se os últimos dois anos ensinaram alguma coisa à indústria, é que na IA, o futuro tem o hábito de chegar antes do previsto.
