Se acaba de "abrir" el Apple Neural Engine. Y puede cambiar cómo pensamos la IA local.
Estos días está circulando una investigación de Manjeet Singh (maderix) ha hecho reverse engineering del Apple Neural Engine (ANE), el acelerador de IA que llevan los chips Apple Silicon.
Hasta ahora el ANE era básicamente una caja negra. Apple lo usa internamente para muchas cosas (visión, voz, ML en el sistema), pero nunca ha ofrecido una API pública real para trabajar con él.
El descubrimiento es que el hardware es mucho más capaz de lo que realmente estamos usando.
La mayoría de los desarrolladores que trabajan con modelos locales en Mac utilizan GPU (Metal) o CPU.
Pero el ANE está diseñado precisamente para ejecutar redes neuronales con un consumo energético extremadamente bajo.
Y aquí aparece lo interesante.
Si este tipo de acceso al ANE se consolida, algunos modelos pequeños y medianos podrían ejecutarse de forma mucho más eficiente directamente en nuestros dispositivos.
Porque cuando ciertos modelos empiezan a ser realmente viables en local:
desaparece gran parte de la latencia
el coste por uso se acerca a cero
la privacidad cambia completamente
y el dispositivo vuelve a ser el centro de la inteligencia
Curiosamente Apple parece moverse en esa dirección con el anuncio ayer de los M5: los nuevos chips empiezan a integrar cada vez más aceleradores específicos para ML.
Así que mucho del hardware que ya tenemos en el bolsillo o en el portátil es más capaz de lo que parece.
Y cuando el software alcanza ese hardware, el paradigma cambia bastante rápido, para algunas cuestiones y usos
A mi el modelo Qwen3.5-0.8B me funciona (aun esta verde)
Enlace: GitHub - johnmai-dev/ANE-LM: LLM inference on Apple Neural Engine (github.com)