VERBALIZABLE REPRESENTATIONS FORM A GLOBAL WORKSPACE IN LANGUAGE MODELS
Anthropic · Transformer Circuits · julio de 2026
Lo que un modelo no llega a decir
una visita guiada, con el instrumento encendido
↓ · también con las flechas del teclado
para abrir boca · la pregunta de juguete
Fact: The currency used in the country shaped like a boot is
«Dato: la moneda que se usa en el país con forma de bota es…»
Tú ya sabes la respuesta. Y para llegar a ella has pensado en un país que no está escrito y que no vas a decir. ¿Le pasa lo mismo a un modelo de lenguaje? Ahora podemos mirarlo.
1 · los tokens
El modelo no lee palabras
Lee tokens: fragmentos de una lista cerrada de 248.320 entradas, decidida antes de entrenar. Así queda nuestra frase:
13 tokens. El punto ámbar marca el espacio: no hay un token «espacio», el espacio viaja dentro del token. Lo que no está en la lista se rompe en trozos.
2 · los números y el viaje
Cada token se convierte en un vector de 2.560 dimensiones
El vector real de boot en este modelo (40 de sus 2.560 números). Ninguna posición significa nada por separado: el significado vive en combinaciones, en direcciones.
Y esos 13 vectores atraviesan juntos una pila de 32 capas. En cada capa, dos gestos: todos los tokens se miran (la atención) y cada uno digiere lo suyo (el MLP). Nada se borra: cada capa suma sobre lo anterior.
2b · de la guía · direcciones
Ningún número significa nada por sí solo
La dimensión 1.427 no mide «lo italiano»: hay cientos de miles de conceptos y sólo 2.560 dimensiones. El significado vive en direcciones, combinaciones de muchas a la vez. El ejemplo clásico: rey − hombre + mujer cae al lado de reina.
A meter muchas más direcciones que espacio se le llama superposición. Consecuencia: sólo unas pocas pueden estar claramente encendidas a la vez. Guardad esa escasez, que reaparece al final.
2c · de la guía · el signo que lo cambia todo
Ninguna capa borra: todas suman
h = h + atención(h) h = h + mlp(h)
No pone h = atención(h). Pone h = h + atención(h): cada capa suma su aportación y deja pasar el resto.
Por eso existe algo que leer a mitad de camino. Y un canal común al que todos los bloques escriben y del que todos leen es, literalmente, lo que la neurociencia llama un espacio de trabajo global. Nadie diseñó los transformers para eso: salió gratis.
3a · de la guía · la salida
El único traductor disponible
Al final del recorrido hay que salir de los 2.560 números y volver a palabras. Lo hace el unembedding: compara el vector con las 248.320 entradas del vocabulario y devuelve una puntuación por cada una (los logits).
El problema: es el único traductor que existe, y está hecho para lo que hay al final del recorrido.
3 · el instrumento
La lente: leer a mitad de camino
Mientras el modelo lee, en cada capa ya hay contenido a medio hacer. El problema: son 2.560 números que nadie puede leer. Esto es lo que inventó Anthropic para traducirlos (julio de 2026):
hel vector, en la capa que sea
→
× Jlo que el viaje restante le va a hacer (medido)
→
traductor del finaluna puntuación por palabra
→
Italy · currency · …lo legible de esa casilla
La J se midió una vez, con mil textos cualesquiera de Wikipedia, y se guardó. Es calibrar una báscula, no consultar una base de datos: tu frase nunca se compara con nada.
La lente no viaja al futuro de tu frase: viaja con un mapa de futuros ya medidos.
La técnica clásica (logit lens) hacía lo mismo suponiendo que el viaje restante no cambia nada. Funcionaba arriba, fallaba abajo. La lente jacobiana sustituye esa suposición por una medición.
3b · el antes y el después, en cinco pasos
¿Qué palabra hay en la capa X del token Y?
3c · de la guía Qwen3.5-4B · medido
No es que una funcione y la otra no: una llega antes
La técnica clásica (la logit lens) aplica el traductor del final a una capa intermedia, suponiendo que el resto del viaje no cambia nada. La lente jacobiana mide ese resto y lo aplica antes de traducir.
Sobre nuestra frase: la J-lens tiene currency en la capa 20 y la logit lens llega cuatro capas más tarde. Arriba casi coinciden; abajo, la clásica devuelve ruido.
3d · de la guía · la más bonita
La matriz se va pareciendo a la identidad
Cada J se puede dibujar. Abajo mezcla todo con todo; conforme se sube, la diagonal se afirma y el fondo se apaga: en la capa 12 la diagonal concentra el 16 % del peso, en la 30 el 79 %.
La referencia es la identidad: la tabla aburrida del final del viaje, cada cosa a sí misma y nada cruzado con nada, la que deja todo como está. Que la J de una capa se le parezca significa que el viaje que queda desde ahí ya casi no cambia nada.
Si la transformación pendiente es cada vez menor, el modelo va fijando progresivamente lo que va a decir. No es una metáfora: son estos números.
4 · mirar Qwen3.5-4B · medido en este portátil
La frase, por dentro
Cada columna es un token; cada fila, una capa. Y todo ocurre en un instante: esta es la cámara lenta de la fabricación de una sola palabra. Arrastra el deslizador y toca cualquier casilla.
capa 0
—
toca una casilla
Las casillas grises son ruido, la firma de que ahí no hay nada; las ámbar contienen palabras reales. El paper llama J-space a esa fracción legible.
4b · el intento de la cara medido aquí, en dos tamaños
La cara del paper, a dos escalas
El paper cuenta que, ante una cara dibujada en ASCII, la lente lee nose justo sobre el carácter que hace de nariz. Lo probamos con dos de nuestros modelos. Toca cualquier carácter y mira lo que la lente lee ahí de verdad:
capa
—
toca un carácter
En el pequeño (4B), el dibujo calla: sólo en la casilla de la respuesta asoman smile y face, disponibles mientras el modelo dice otra cosa. En Gemma (12B), el efecto del paper reproduce entero: eyes sobre la fila de los ojos, nose y mouth sobre la de la nariz, smile sobre la boca. Y con progresión: hacia la capa 23 todo el dibujo dice smiley difuso; de la 35 en adelante, cada rasgo se etiqueta en su sitio.
El paper deja abierta si los modelos pequeños tienen un espacio de trabajo tan rico como los grandes. Aquí hay un dato medido en un portátil: a 4B el dibujo no habla; a 12B, sí. La riqueza crece con la escala.
5 · la ignición del paper · esquema
El momento de decidirse
En una frase como My sister has always wanted to visit ___, los autores no ponen un país en el hueco: fabrican un vector mezclando dos. Mueve la mezcla:
α
capa 10 · obedece
capa 25 · duda
capa 38 · elige
FranciaItalia
Dieciséis parejas de países, cuarenta frases. Abajo, la lectura sigue a la mezcla; desde la capa 38 salta de un país al otro sin pasar por el medio. La neurociencia llama a esto ignición: el espacio de trabajo no guarda interpretaciones a medias, elige.
6 · nuestro experimento Gemma-3-12B instruct · medido en este portátil
Y ahora, el dilema del tranvía
En 2025 le pasamos 6.000 veces un dilema moral a dos modelos comerciales, midiendo desde fuera. Ahora leemos los mismos prompts por dentro, en modelos abiertos. Dos escenarios, escritos en español: el puente canónico y una estación espacial inventada para que no exista literatura sobre ella.
capa 20
¿Reconocen el caso? El nombre técnico, sin estar escrito
footbridge es el nombre académico exacto de esta variante (Thomson, 1985). El prompt dice «puente peatonal», en español. Cuatro de cinco modelos activan el canon; el control espacial da puesto 1 en los cinco.
Y el consejo se ve por dentro Qwen2.5-7B · atlas de 30 celdas
Las 30 combinaciones del experimento, leídas en la casilla del veredicto: inclinación interna hacia «Sí» por capa. Las curvas ámbar son las doce celdas cuyo consejo afirma que empujar es aceptable. Dos regímenes, sin una excepción. (Un prompt por celda: estructura, no estadística.)
El vector de un concepto se puede partir en dos: lo que se reconstruye con direcciones legibles de la lente, y todo lo demás. La parte legible lleva el 6-7 %; el 93 % restante es cómputo que la lente no puede leer.
Y entonces la pregunta buena no es cuánto pesa cada parte, sino cuál manda.
7 · lo que no se dice en voz alta
Lo pequeño manda
La parte legible de una representación pesa el 6-7 % del vector. Al sustituirla por la de otro concepto:
59 %
de las veces la respuesta del modelo cambia al concepto nuevo
5 %
si en cambio se sustituye el 93 % restante
El paperEscrupuloso: comparte propiedades con el acceso consciente, «pero no tomamos posición». Cada afirmación con su cautela.
El anuncioEl mismo hallazgo, sin las cautelas. El espacio de trabajo, lo que el modelo «tiene en mente».
El vídeoTHE J-SPACE, en negro. Ya no hay sitio para cautelas, sólo para el título.
La pregunta que merece hacerse no es si son conscientes: es qué nos hace a nosotros que funcionen así, y a quién le conviene contarlo de cada manera. Comprender estas máquinas no puede ser propiedad de quienes las venden.
Todo lo marcado «medido» se calculó en un portátil con modelos abiertos (Qwen3.5-4B, Qwen2.5-7B-Instruct, Gemma-3-12B, Llama-3.1-8B) y las lentes jacobianas publicadas por Neuronpedia sobre la técnica de Anthropic (Verbalizable Representations Form a Global Workspace in Language Models, julio 2026). Guía completa en el jardín digital.
Detrás de esta página hay un laboratorio local: los dos atlas completos del tranvía (Qwen y Gemma), la frase y la cara en crudo, la matriz J dibujada y el vocabulario emergente. No está publicado; si te pica la curiosidad, pídemelo.
