Un nuevo benchmark pone a prueba si los agentes de IA pueden rediseñar sus propios algoritmos de entrenamiento
AI4AI-Bench evalúa a agentes LLM en tareas de auto-mejora recursiva: reescribir algoritmos de entrenamiento en repositorios de investigación reales con cómputo y tiempo limitados.
Un grupo de investigadores publicó el 20 de agosto en arXiv el paper 'AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement', un benchmark que mide si los agentes basados en modelos de lenguaje son capaces de diseñar y mejorar algoritmos de entrenamiento de IA por sí mismos. El benchmark parte de diez repositorios de investigación congelados que cubren distintas familias de algoritmos de entrenamiento, y le da a cada agente cuatro horas en una sola GPU B300 para reescribir el algoritmo de entrenamiento de ese repositorio y mejorar su desempeño.
La idea central del trabajo es acercarse, con un entorno controlado y reproducible, a la pregunta de la auto-mejora recursiva: qué tan cerca están los sistemas de IA actuales de poder optimizar el propio proceso que los entrena, una capacidad que distintos laboratorios consideran un posible punto de inflexión -y de riesgo- en el desarrollo de la disciplina.
El paper no reporta que ningún agente evaluado logre mejoras dramáticas dentro del límite de tiempo y cómputo impuesto, pero la sola existencia de un benchmark estandarizado para esta tarea es relevante para quienes siguen de cerca la conversación sobre capacidades emergentes y seguridad en agentes autónomos.