Mitos de los MoE: los expertos no son expertos

Seguro que te lo han contado así: dentro de un modelo Mixture of Experts hay un experto en matemáticas, otro en poesía y otro en medicina, y un jefe que te pasa con el que sabe de lo tuyo. Es una explicación bonita. Y es falsa.

En el post anterior conté qué es un MoE con una cocina: un jefe, el router, reparte cada palabra entre unos pocos cocineros, los expertos. Aquí toca la parte divertida: seis cosas que se dicen de los MoE y que no aguantan una medición. Cada una viene con lo que encontraron quienes miraron dentro.

Los autores de Mixtral hicieron justo esa pregunta: ¿hay un experto para las matemáticas, otro para la biología, otro para la filosofía? Pasaron textos de cada tema por el modelo y contaron a qué expertos iba cada palabra. Los repartos salieron casi iguales: artículos científicos, resúmenes de medicina y textos de filosofía usaban a los mismos expertos en la misma proporción. Solo un conjunto de problemas de matemáticas sintéticos se apartaba un poco.

Lo que sí encontraron es más tonto y más curioso: los expertos se reparten trozos de texto. La palabra self de Python va casi siempre al mismo experto. «Question» en inglés, también. Y las sangrías del código, los espacios del principio de línea, tienen sus expertos fijos.

OpenMoE, una familia de modelos de investigación de hasta 34 000 millones de parámetros, llegó más lejos: el reparto depende sobre todo de qué trozo de palabra es, y muy poco del contexto. El trozo «ed» va a los mismos pocos expertos tanto en «preferred» como en «led», aunque no tengan nada que ver.

Hay una excepción que confirma la regla: el idioma. En OpenMoE, el chino simplificado y el tradicional prefieren los mismos dos expertos, y el japonés y el coreano comparten otro. Pero no es porque un experto «sepa chino», sino porque los trozos de texto del chino son distintos de los del inglés.

El nombre invita a pensarlo: ocho modelos de 7000 millones pegados, y un jefe que elige dos. Si fuera así, tendría 8 × 7 = 56 000 millones de parámetros (58 000 contando exacto, porque Mistral 7B tiene 7200 millones). Tiene 47 000 millones. ¿Dónde está la diferencia?

Mixtral sale de Mistral 7B, y un modelo así tiene dos clases de parámetros:

• La parte común, unos 1600 millones: la atención de cada capa, que es la que mira el contexto, y el vocabulario, la tabla que convierte las palabras en números y los números en palabras.
• La cocina, unos 5600 millones: la red de cada capa que transforma cada palabra por separado.

Mixtral no copia el modelo entero ocho veces: copia solo la cocina. La parte común está una sola vez, y las cuentas salen solas:

La última fila es un regalo: los 13 000 millones «activos» del post anterior no son 2 × 7, sino la parte común más dos cocinas.

Y un detalle que también confunde: no hay 8 expertos grandes, sino 8 por capa. Con 32 capas son 256 cocinas pequeñas, y la cocina 3 de la capa 1 no tiene nada que ver con la cocina 3 de la capa 2. «Experto 3» es un número de puesto, no un personaje que recorre el modelo.

Mucha gente imagina que el jefe lee tu pregunta, decide «esto es de programación» y se la pasa entera a un experto. No funciona así. El router decide para cada palabra y en cada capa: elige 2 de 8 en la primera capa, otros 2 en la segunda, y así hasta la 32.

Hay 28 formas de elegir 2 expertos de 8. Con 32 capas, una sola palabra puede seguir 28³² caminos distintos por el modelo: unos 2×10⁴⁶, un 2 seguido de 46 ceros.

Lo que sí ocurre es que las palabras seguidas tienden a repetir experto. En la capa 15 de Mixtral, la palabra siguiente repite el primer experto de la anterior entre el 23,6 % y el 28,4 % de las veces, según el tipo de texto. Por azar sería el 12,5 %. No es «un experto por pregunta», pero tampoco un reparto al azar.

Si dejas al jefe a su aire, pasa lo que pasa en muchas cocinas: elige siempre a los mismos. Ya lo vieron en 2017 Shazeer y sus coautores (entre ellos, Geoffrey Hinton): el router acaba dando todo el peso a unos pocos expertos, y el problema se alimenta solo, porque los favoritos se entrenan más, mejoran y los eligen todavía más.

Por eso todos los MoE llevan algo para repartir la carga. Lo clásico es un castigo extra durante el entrenamiento cuando el reparto se desequilibra. DeepSeek-V3 usa otra cosa: un sesgo por experto que sube si se aburre y baja si va saturado, y que solo sirve para elegir.

Tiene una consecuencia práctica. Muchos MoE ponen un cupo a cada experto, y si se llena, la palabra se queda sin cocinar en esa capa. OpenMoE vio que eso les pasa más a las palabras del final de una conversación larga. DeepSeek-V3 dice que, gracias a su balanceo, no descarta ninguna.

Si los expertos no son de temas, no hay un «experto de medicina» que quitar. Pero ¿se puede podar algún experto? Sí, con cuidado. Lu y sus coautores (2024) quitaron 2 de los 8 expertos de cada capa de Mixtral, eligiéndolos con texto general:

Parece barato, pero tiene trampa: con esa misma poda, el acierto en problemas de matemáticas (GSM8K) cayó de 58,61 a 41,02. Lo que sobra para el texto general es justo lo que hacía falta para las matemáticas. Para podar un modelo de matemáticas tuvieron que elegir los expertos con datos de matemáticas, y las dos elecciones solo coincidían en 4 de las 32 capas.

La regla: se poda midiendo con tus datos, nunca por el nombre.

Suena lógico: el modelo aprende durante meses, así que el router también iría mejorando su reparto todo ese tiempo. En OpenMoE no fue así: el reparto de cada trozo de palabra se decidió pronto, al principio del entrenamiento, y luego apenas cambió. Cada trozo siguió yendo a sus mismos expertos hasta el final.

Es una de las razones por las que el reparto acaba pareciéndose más a un fichero de trozos de texto que a un equipo de especialistas.

Y los dos mitos del otro post: un MoE no cabe donde cabe un modelo pequeño, y no siempre es más rápido. Están en Mixture of Experts (MoE): el truco de los LLM gigantes.