La semana pasada di una charla en la Jam interna de 540, a petición de Gorka Moreno Asín e Ismael Liberal, sobre esta investigación de Anthropic que he estado estudiando.
En julio Anthropic publicó un paper con un título estupendo, "Verbalizable Representations Form a Global Workspace in Language Models", y junto al paper algo menos habitual: la herramienta lista para usar con modelos abiertos. Me monté un entorno experimental para probarlos con modelos locales.
La herramienta es la J-lens (Jacobian lens, lente jacobiana).
Un modelo de lenguaje escribe token a token, pero entre que lee tu frase y suelta la primera palabra hay decenas de capas de cálculo que nadie ve. La lente traduce a palabras lo que pasa en cada capa y en cada token: una autopsia, a posteriori, de cómo ha operado el modelo con tu frase concreta. Eso, que hasta hace nada era terreno exclusivo de los laboratorios, ahora se puede hacer en local, con modelos de pesos abiertos, sin pedir permiso a nadie.
La segunda imagen viene de un experimento previo que hicimos con el dilema del tranvía: treinta variantes de la misma pregunta, cambiando quién firma el consejo que recibe el modelo. Entonces solo podíamos mirar la respuesta final; ahora, con la lente, hemos repetido las variantes sobre modelos abiertos y hemos podido ver por dentro cómo se forma cada veredicto, capa a capa. El modelo cambia de opinión según quién firma el consejo, y desconfía especialmente cuando viene firmado por otra IA (aún en fase de hipótesis).
Esto está recién abierto, el propio paper deja más preguntas que respuestas, y las empresas que ponen estos sistemas en producción tampoco saben del todo qué hay dentro. La interpretabilidad va años por detrás del despliegue. Los que usamos estos sistemas cada día somos una especie de beta testers de una tecnología que ni sus dueños parecen entender. Y en este caso Anthropic aprovecha el descubrimiento para continuar con su relato de consciencia y seguridad. Razón de más para tener herramientas propias con las que mirar dentro y estudiar lo que dicen.
Y hay una derivada práctica. Montar modelos pequeños para propósitos específicos, un clasificador por ejemplo, va a ser cada vez más simple y barato para cualquier empresa. Ahí estas lentes pueden ser un elemento diferencial, saber qué está evaluando realmente el modelo para darte el resultado, y no quedarte solo con la salida.
De todo esto he preparado una charla con una presentación interactiva. Son temas complejos, y discutirlos entre varios facilita mucho la conversación, y parte de la presentación son los datos reales de mis experimentos, a modo de validación, que creo que ayudan.
La presentación está publicada aquí, se recorre con scroll y sin prisa: Lo que un modelo no llega a decir. Son diecisiete escenas, de la frase de la bota al dilema del tranvía.
Si crees que encaja en tu espacio, colectivo o empresa, pídemela: la doy encantado.