Microsoft ha dado a conocer Mu, su innovador modelo de lenguaje diseñado para mejorar la interacción con el agente de Configuración en Windows. Este modelo opera de manera eficiente en dispositivos locales, especialmente optimizado para aquellos con Unidad de Procesamiento Neural (NPU). Mu es capaz de inferir complejas relaciones entre entradas y salidas, ofreciendo un rendimiento excepcional al responder más de 100 tokens por segundo.
Con una arquitectura de transformador optimizada, Mu usa un diseño de codificador-decodificador que proporciona menor latencia y mayor rendimiento en comparación con modelos de decodificación únicos. En el desarrollo de Mu se realizaron diversas optimizaciones para su funcionamiento eficaz en NPUs. Estas incluyen ajustes en la arquitectura y una distribución de parámetros optimizada, maximizando la eficiencia del modelo en operaciones específicas de hardware. Además, Mu incorpora avanzadas técnicas de cuantización que mejoran su rendimiento sin comprometer la precisión.
El agente de Configuración se ha fortalecido con millones de ejemplos entrenados en Mu, centrados en consultas de lenguaje natural que facilitan los cambios en los ajustes del sistema. Durante este proceso, se logró reducir los tiempos de respuesta a menos de 500 milisegundos, un objetivo cumplido con éxito.
Este avance no solo mejora la experiencia del usuario al permitir interacciones más fluidas con el sistema operativo, sino que también marca un progreso notable en la capacidad de los modelos de lenguaje para operar en dispositivos con menor potencia. La colaboración con equipos de ciencia aplicada ha sido fundamental para el refinamiento y optimización del modelo, enfatizando la retroalimentación de los usuarios para continuar mejorando la experiencia.
