PrismML comprime un modelo de 27,000 millones de parámetros a menos de 6 GB sin perder casi rendimiento
Ternary Bonsai 2 27B toma el Qwen3.8 27B de Alibaba y lo reduce de 54 GB a 5.9 GB usando pesos ternarios, conservando 98.2% del desempeño original y corriendo en una laptop o una sola GPU de consumo.
El laboratorio PrismML lanzó Ternary Bonsai 2 27B, una reescritura comprimida del modelo Qwen3.8 27B de Alibaba que reduce su tamaño de 54 GB a apenas 5.9 GB, una compresión de más de 9 veces, mientras retiene 98.2% del rendimiento promedio del modelo original en benchmarks. La técnica usa pesos ternarios, limitados a los valores -1, 0 y +1, combinados con un escalado por grupos en FP16 que ayuda a preservar precisión donde más importa.
El resultado es un modelo que puede correr en una laptop o en una sola GPU de consumo en lugar de requerir infraestructura de servidor, y que conserva la ventana de contexto de 262,000 tokens y la capacidad de procesar texto e imágenes del modelo base. El modelo se publicó bajo licencia Apache 2.0, lo que permite su uso comercial sin restricciones.
Para quien desarrolla productos con IA local o busca reducir costos de inferencia, este tipo de compresión casi sin pérdida es relevante porque acerca modelos de la clase de 27,000 millones de parámetros a escenarios de despliegue en el dispositivo (edge) que antes exigían modelos mucho más pequeños y, por lo tanto, menos capaces.