Un estudio mide por qué los agentes de IA 'se cansan' al pensar más tiempo en inferencia
Un nuevo paper propone medir el rendimiento de agentes de LLM token por token con un sistema tipo Elo, y encuentra que el beneficio de seguir pensando se desploma en sesiones largas.
Un grupo de investigadores publicó el paper "When Agents Slow Down: Understanding LLM Agents' Test-Time Strategies via Elo-per-token Analysis", que ataca un problema muy práctico: cuando un agente de LLM tiene presupuesto para revisar su propia solución, usar herramientas, explorar alternativas y decidir cuándo parar, resulta difícil comparar qué tan bien escala su rendimiento a medida que se le da más cómputo.
La propuesta, llamada Elo-per-token, en vez de mirar solo el resultado final, rastrea la mejor solución encontrada en cada presupuesto de tokens gastado y usa un modelo Bradley-Terry —la misma matemática detrás de los rankings Elo de ajedrez— para poder comparar tareas con escalas de puntaje muy distintas entre sí en un solo ranking.
El hallazgo central es que los agentes de LLM al principio escalan más rápido que un simple muestreo independiente de intentos, pero después de cierto punto el beneficio marginal de "pensar más" cae, y en sesiones muy largas puede terminar por debajo de esa referencia. Los autores muestran además que correr varias sesiones cortas en paralelo suele rendir mejor que una sola sesión larga, un dato directamente accionable para quien diseña agentes de coding o de tareas complejas con presupuesto de cómputo limitado.