Mitos de los MoE: los expertos no son expertos
Ni saben de medicina ni son ocho modelos pegados. Seis mitos sobre los Mixture of Experts, desmontados con lo que midieron Mixtral, OpenMoE y otros.
- Inteligencia artificial
- LLM
- Deep learning
Noticias explicadas, diario de aprendizaje y ficción analizada con física de verdad.
Ni saben de medicina ni son ocho modelos pegados. Seis mitos sobre los Mixture of Experts, desmontados con lo que midieron Mixtral, OpenMoE y otros.
DeepSeek-V4-Pro tiene 1,6 billones de parámetros y usa 49 000 millones por palabra. Cómo funciona un MoE, qué cuesta y cuándo conviene un modelo denso.
Muros, lanzas de acero, oro y personas: lo que costaría cada transmutación de FMA con física real, qué existe hoy y por qué el problema es el tiempo.
Qué es esta web, por qué cada lección se explica tres veces, quién es el bufón que te acompaña y qué temas vienen: IA, datos, cuántica y nanociencia.