La distillation de modelos (knowledge distillation) es una técnica que permite transferir el conocimiento de un modelo grande y preciso (teacher) a un modelo pequeño y eficiente (student). Es clave para desplegar IA en dispositivos con recursos limitados.
¿Qué es la distillation?
En la distillation, el modelo teacher (ej. GPT-5, Llama 4 405B) genera predicciones que sirven como "etiquetas suaves" para entrenar al modelo student (ej. un modelo pequeño de 1-3B parámetros).
El student aprende no solo las respuestas correctas, sino también la distribución de probabilidades del teacher, capturando matices que las etiquetas duras no transmiten.
Técnicas principales
Distillation logit: El student aprende a igualar las probabilidades de salida del teacher. Es la técnica más simple y efectiva.
Distillation de características: El student aprende a igualar representaciones internas (capas ocultas) del teacher.
Self-distillation: El mismo modelo se usa como teacher y student. Sorprendentemente efectivo para mejorar rendimiento.
Distillation progresiva: Múltiples rondas de distillation reduciendo gradualmente el tamaño.
Herramientas
Hugging Face Transformers: Soporta distillation con clases Trainer especializadas.
TensorFlow Model Optimization: Herramientas de distillation y cuantización.
Microsoft Olive: Framework para optimización de modelos incluyendo distillation.
Intel Neural Compressor: Optimización con distillation, pruning y cuantización.
Cuándo usar distillation
Grandes volúmenes de inferencia donde los costes de API o computación son significativos, despliegue en dispositivos Edge o móviles, aplicaciones donde la latencia es crítica (<100ms), y cuando necesitas privacidad (modelo local) pero no puedes sacrificar mucha precisión.
Resultados típicos
Un modelo student de 3B puede mantener el 95-98% de la precisión del teacher de 70B+ en tareas generales, mientras es 10-20x más rápido y 20-50x más pequeño.
En tareas muy específicas, la diferencia puede ser aún menor.
Distillation vs fine-tuning
La parte del proceso de fine-tuning de modelos grandes no es eficiente para producción. El fine-tuning del modelo grande seguido de distillation a un modelo pequeño suele dar mejores resultados que fine-tuning directo del small model.
La distillation permite llevar IA de alto nivel a cualquier dispositivo. En Vynta aplicamos distillation para crear modelos eficientes que mantienen alta precisión. Contáctanos si necesitas modelos de IA rápidos y ligeros para tu aplicación.