Liquid AI acelera hasta 3 veces la inferencia de su modelo de visión con un modelo borrador de decodificación especulativa

Liquid AI lanzó LFM2.5-VL-3B-DSpark, un modelo "borrador" (draft model) de apenas 279.5 millones de parámetros diseñado para acelerar, mediante decodificación especulativa, la inferencia de su modelo de visión-lenguaje LFM2.5-VL-3B. La técnica no altera la distribución de salida del modelo original: el borrador propone bloques de tokens candidatos y el modelo grande solo los verifica, lo que en las pruebas de la propia empresa se traduce en hasta 3.13 veces más velocidad de decodificación y 2.62 veces de mejora de punta a punta, con mayor beneficio cuando la generación de texto domina el tiempo de respuesta.

La arquitectura, llamada DSpark, adapta la decodificación especulativa a cargas multimodales proyectando parches visuales y tokens de texto a una representación unificada antes de procesarlos, con un borrador de solo cuatro capas de atención que captura estados ocultos en profundidades fijas de la red. Los pesos están disponibles en Hugging Face con soporte desde el día uno para SGLang, llama.cpp y MLX-VLM, lo que facilita que equipos que ya corren modelos de visión-lenguaje en el borde —incluyendo dispositivos Apple— lo adopten sin cambiar de stack.