vLLM 0.27 se actualiza a PyTorch 2.13 y suma soporte nativo para Blackwell y Kimi K3
El motor de inferencia open source da un salto de dependencias con cambios que rompen compatibilidad, a cambio de mejor rendimiento en la nueva arquitectura de Nvidia y soporte completo para el modelo MoE de Moonshot AI.
El proyecto vLLM, uno de los motores de inferencia open source más usados para servir modelos de lenguaje a gran escala, publicó la versión 0.27.0, que actualiza su stack central a PyTorch 2.13.0, torchvision 0.28.0 y Triton 3.7.1. Se trata de una actualización con cambios que rompen compatibilidad hacia atrás, por lo que quienes mantienen pipelines de despliegue en producción van a necesitar ajustes antes de migrar.
A cambio, la nueva versión trae optimizaciones nativas para la arquitectura Blackwell (SM100) de Nvidia y soporte de stack completo para Kimi K3, el modelo de mezcla de expertos (MoE) de gran tamaño de Moonshot AI, lo que permite servir ese modelo de forma eficiente sin depender de parches externos.
Días después, el equipo publicó la 0.27.1 como parche menor sobre esa base. Para equipos que operan infraestructura propia de inferencia -en lugar de depender exclusivamente de APIs gestionadas- este tipo de actualización es la que determina qué tan rápido y barato pueden servir los modelos abiertos más recientes en hardware Nvidia de última generación.