Un nuevo sandbox urbano a escala real expone los límites de los agentes multimodales para navegar ciudades
Investigadores construyeron una réplica virtual de Hong Kong a partir de datos geoespaciales 3D reales para medir si los agentes basados en modelos multimodales pueden orientarse y moverse de forma confiable, y encontraron que fallan en tareas de navegación a mayor distancia.
Un equipo de investigadores de la Universidad Jiao Tong de Shanghái, la Universidad Nacional de Singapur, Meituan, la Universidad China de Hong Kong y la Universidad de Oxford presentó UrbanGround, un entorno de prueba que convierte datos geoespaciales 3D de todo el territorio de Hong Kong en un mundo virtual navegable, físicamente interactivo y renderizado de forma continua dentro de Unity. El objetivo es evaluar, de forma repetible y controlada, qué tan bien los agentes construidos sobre modelos de lenguaje multimodal pueden convertir la percepción visual local en decisiones de movimiento correctas dentro de una ciudad real.
El estudio evalúa a los agentes en tres niveles crecientes de dificultad: primero, si pueden responder preguntas espaciales simples tras observar una escena; segundo, si esa comprensión se sostiene cuando el destino está más lejos y las instrucciones son menos explícitas; y tercero, si el comportamiento se mantiene estable cuando cambian las rutas disponibles o hay peatones moviéndose alrededor. Los resultados muestran que los agentes actuales manejan razonablemente bien el reconocimiento visual y el razonamiento espacial de corto alcance, pero fallan de forma consistente en orientarse a mayor distancia y en moverse de forma consciente de peatones y obstáculos dinámicos.
El trabajo es relevante para cualquiera que esté construyendo agentes de IA física —robots de entrega, sillas de ruedas autónomas, asistentes de navegación— porque expone con datos concretos una brecha real entre la capacidad de los modelos multimodales para "entender" una escena y su capacidad para actuar de forma segura y sostenida en el mundo físico a lo largo de una tarea extendida.