Un nuevo método de decodificación dispersa promete hasta 11 veces más velocidad en contextos largos
El paper 'Faster Than Flash' propone un kernel que fusiona selección y cómputo de atención para explotar la dispersión de forma adaptativa, con mejoras de hasta 11.6x a nivel de kernel y 2.37x en throughput de extremo a extremo a 256K tokens de contexto.
Un grupo de investigadores publicó 'Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding', un trabajo centrado en un problema muy concreto para quien sirve modelos grandes en producción: la decodificación con contextos largos suele quedar limitada por el ancho de banda de memoria, no por el cómputo disponible. La propuesta, llamada Faster Flash Decoding (FFD), es un diseño conjunto de algoritmo y hardware que fusiona en un solo kernel el paso de seleccionar qué bloques de atención importan y el de calcularlos, en lugar de tratarlos como dos etapas separadas con índices de metadatos externos.
Para decidir qué bloques conservar, FFD usa un escaneo consciente del contenido basado en cuantización de baja precisión, y aplica lo que los autores llaman estrategia 'top-delta', que ajusta dinámicamente cuánta dispersión aplicar según la distribución real de la atención en cada caso, en vez de usar un umbral fijo. Según el paper, esto permite mantener la precisión del modelo mientras se logra una dispersión mucho más agresiva que los métodos previos.
Los números que reportan son notables para quien opera infraestructura de inferencia: hasta 11.6 veces de aceleración a nivel de kernel, escalado hasta 256,000 tokens de contexto y una mejora de 2.37 veces en throughput de extremo a extremo, validado en los benchmarks RULER y LongBench sin pérdida relevante de calidad frente a las líneas base. Es el tipo de optimización que, de confirmarse en implementaciones de producción, podría bajar directamente el costo de servir modelos con ventanas de contexto muy grandes.