Análisis Matemático y Arquitectónico de Modelos de Lenguaje Basados en Mezcla de Expertos Dispersa: El Caso de Estudio Grok-4

Análisis Matemático y Arquitectónico de Modelos de Lenguaje Basados en Mezcla de Expertos Dispersa: El Caso de Estudio Grok-4 Mathematical and Architectural Analysis of Sparse Mixture-of-Experts Language Models: The Grok-4 Case Study Jeferson Stiven Briceño Ferrer Estudiante de Ingeniería Facultad de Ingeniería y Ciencias Aplicadas Departamento de Inteligencia Artificial y Computación 19 de noviembre de 2025 Resumen Resumen La inteligencia artificial generativa ha alcanzado un nuevo paradigma con la introducción de arquitecturas de inferencia eficiente. Este artículo presenta una investigación exhaustiva sobre los fundamentos matemáticos y de ingeniería detrás de Grok-4 y su variante Grok-4.1, desarrollados por xAI. A diferencia de los modelos densos tradicionales, Grok-4 implementa una arquitectura de Sparse Mixture-of-Experts (SMoE) a escala masiva. Esta investigación disecciona los mecanismos de enrutamiento dinámico (Dynamic Routing), la formulación del mecanismo de atención dispersa para ventanas de contexto de 256,000 tokens, y la implementación de Rotary Positional Embeddings (RoPE) para la generalización de secuencias largas. Además, se analiza la infraestructura de entrenamiento distribuido requerida para optimizar miles de millones de parámetros en clústeres de GPUs H100, y se evalúa el rendimiento del modelo en benchmarks de razonamiento lógico y matemático (AIME, GPQA). Los resultados sugieren que la especialización modular de los expertos ofrece una ruta superior hacia la eficiencia computacional en comparación con el escalado monolítico. Palabras clave: Grok-4, Mezcla de Expertos (MoE), Enrutamiento Top-k, Atención Dispersa, RoPE, Inteligencia Artificial, Ingeniería de Software. 2 1 Introducción En la última década, el campo del Procesamiento del Lenguaje Natural (NLP) ha estado dominado por la arquitectura Transformer. La ley de escalado (*Scaling Law*) sugería que aumentar el número de parámetros y el tamaño del dataset de entrenamiento resultaba invariablemente en un mejor rendimiento. Sin embargo, este enfoque monolítico presenta rendimientos decrecientes y costos computacionales insostenibles. El modelo Grok-1, lanzado por xAI con 314 mil millones de parámetros, fue un primer paso hacia la transparencia en modelos grandes, pero seguía siendo costoso de ejecutar. Con la llegada de Grok-4, se observa un cambio fundamental hacia arquitecturas **dispersas** (*sparse*). El objetivo de esta investigación, realizada por el estudiante de ingeniería Jeferson Stiven Briceño Ferrer, es desglosar matemáticamente cómo Grok-4 logra un rendimiento superior en razonamiento (”System 2 thinking”) utilizando una fracción del cómputo durante la inferencia. Se analizarán tres pilares fundamentales: 1. La arquitectura de Mezcla de Expertos (MoE). 2. La gestión de memoria a través de atención dispersa. 3. La codificación posicional rotatoria (RoPE) de alta frecuencia. 2 Preliminares Matemáticos: El Transformer Antes de analizar las innovaciones de Grok-4, es crucial establecer la base matemática del Transformer estándar sobre la cual se construye. Un bloque Transformer estándar consiste en dos subcapas principales: Mecanismo de Atención Multi-Cabezal (MHA) y una Red Neuronal *Feed-Forward* (FFN). Dada una secuencia de entrada X∈RL×d, donde Les la longitud de la secuencia y dla dimensión del modelo: Z=LayerNorm(X+MHA(X)) (1) 1 H=LayerNorm(Z+FFN(Z)) (2) En un modelo denso clásico (como GPT-3), la capa FFN se aplica idénticamente a cada posición de token y consume la gran mayoría del presupuesto de parámetros (típicamente 2/3 del total). La ecuación estándar de la FFN es: FFN(x) = GELU(xW1+b1)W2+b2(3) Grok-4 modifica fundamentalmente esta segunda subcapa, reemplazándola por una capa de expertos dispersos. 3 Arquitectura de Mezcla de Expertos (MoE) en Grok-4 La innovación central de Grok-4 es su naturaleza dispersa. En lugar de activar todos los parámetros para cada token, el modelo selecciona dinámicamente qué partes de la red neuronal utilizar. 3.1 Formulación General de MoE Una capa MoE consiste en un conjunto de N”redes expertas” {E1, E2, . . . , EN} y una ”red de compuerta” (*Gating Network*) G. Para una entrada x, la salida yes: y= N X i=1 G(x)iEi(x)(4) Donde G(x)es un vector disperso N-dimensional donde la mayoría de los valores son cero. En la implementación de Grok-4, se utiliza una estrategia **Sparse Top-k**, lo que significa que solo kexpertos tienen valores no nulos en G(x). Típicamente, N= 8 yk= 2. 2 3.2 El Algoritmo de Enrutamiento (Routing) El corazón de la eficiencia de Grok-4 reside en cómo decide qué expertos usar. La red de compuerta G(x)se define típicamente como: H(x) = x·Wg(5) Donde Wg∈Rd×Nes una matriz de pesos entrenable. Para asegurar la dispersión, se aplica la función Top-k: G(x) = Softmax(TopK(H(x), k)) (6) La función TopK(v, k)mantiene los kvalores más grandes del vector vy establece los demás en −∞(antes de la Softmax). 3.2.1 Enrutamiento Ruidoso para Estabilidad Para evitar que el modelo converja en usar siempre los mismos expertos (lo que desperdiciaría la capacidad del resto), Grok-4 añade ruido gaussiano durante el entrenamiento: H(x)i= (x·Wg)i+·Softplus((x·Wnoise)i)(7) Donde ∼ N(0,1). Esto fomenta la exploración de diferentes expertos en las etapas tempranas del entrenamiento. 3.3 Función de Pérdida y Balanceo de Carga Uno de los mayores desafíos matemáticos en MoE es el balanceo de carga. Si un experto recibe el 90% de los tokens, el sistema se vuelve equivalente a un modelo denso más pequeño, perdiendo las ventajas de la arquitectura. Grok-4 implementa una función de pérdida auxiliar Laux que se suma a la pérdida principal del modelo: 3 Ltotal =Ltask +αLaux (8) Definimos la importancia de un experto icomo la suma de los valores de compuerta para un lote de Ttokens: Importancia(i) = X x∈B G(x)i(9) La pérdida auxiliar se define para minimizar el coeficiente de variación de la importancia de los expertos: Laux =N N X i=1 fi·Pi(10) Donde fies la fracción de tokens despachados al experto i, y Pies la probabilidad media de que el router seleccione al experto i. Esta formulación matemática fuerza a que la distribución de carga sea uniforme. 4 Mecanismos de Atención y Ventana de Contexto Grok-4 soporta una ventana de contexto masiva de aproximadamente 256,000 tokens (y versiones internas de hasta 1M). Procesar esta cantidad de información con atención estándar es computacionalmente inviable debido a la complejidad O(L2). 4.1 Atención Dispersa y Dilatada El modelo utiliza un patrón de atención híbrido. La matriz de atención Ano se calcula completa. En su lugar, para un token en la posición t, se atiende a: 1. Atención Local: Los wtokens inmediatamente anteriores: {t−w,...,t− 1}. 2. Atención Dilatada (Strided): Tokens anteriores con saltos fijos: {t− 4 c, t −2c, t −3c, . . . }. Matemáticamente, la máscara de atención Mij es 1 si y solo si jcumple con estos criterios de vecindad o dilatación. Attn(Q, K, V ) = Softmax QKTM √dkV(11) Esto reduce la complejidad de memoria y cómputo a O(Llog L)oO(L√L), dependiendo de la implementación específica de los bloques dispersos. 5 Codificación Posicional Rotatoria (RoPE) Para manejar secuencias largas y permitir que el modelo entienda posiciones relativas a distancias arbitrarias, Grok-4 utiliza RoPE (*Rotary Positional Embeddings*). A diferencia de los *embeddings* posicionales absolutos que se suman al vector, RoPE aplica una rotación multiplicativa. Consideremos el espacio 2D para simplificar. Dado un vector xen la posición m, la transformación RoPE f(x, m)es: f(x, m) = cos mθ −sin mθ sin mθ cos mθ ! x1 x2!(12) Para un modelo de dimensión d, esto se generaliza aplicando d/2 rotaciones independientes. La propiedad clave que hace a RoPE superior matemáticamente es que el producto punto entre dos vectores en posiciones myn solo depende de su diferencia relativa m−n: hf(x, m), f(y, n)i=xTR(n−m)y(13) Esto permite a Grok-4 mantener la coherencia semántica incluso cuando la distancia entre el sujeto y el verbo en una oración es de miles de tokens. 5 6 Arquitectura ”System 2”: Grok Heavy y MultiAgentes Una de las características más notables analizadas en esta investigación es la capacidad de ”razonamiento profundo” de Grok-4, a menudo referida comercialmente como modo ”Thinking” o ”Heavy”. 6.1 Inferencia Computacional en Tiempo de Test Tradicionalmente, el tiempo de cómputo durante la inferencia es constante. Grok-4 introduce cómputo variable. Sea P(y|x)la probabilidad de la respuesta. El modelo Heavy descompone el problema xen sub-pasos z1, . . . , zk: P(y|x) = X z P(y|z, x)P(z|x)(14) El modelo genera cadenas de pensamiento latentes (z) que pueden ser verificadas o descartadas antes de emitir la respuesta final y. 6.2 Dinámica de Enjambre Multi-Agente En la configuración ”Heavy”, se instancian múltiples copias virtuales del modelo (agentes) que atacan el problema desde diferentes ángulos (prompts de sistema distintos). El resultado final se obtiene mediante un mecanismo de votación ponderada o consenso: ˆy=arg max y M X j=1 wjI(Aj(x) = y)(15) Donde Aj(x)es la salida del agente jywjes la confianza autoevaluada del agente. Esto ha demostrado aumentar la precisión en benchmarks matemáticos del 80% al 95%. 6 7 Infraestructura de Entrenamiento y Paralelismo El entrenamiento de Grok-4 requirió el clúster ”Colossus” de xAI, compuesto por 100,000 GPUs NVIDIA H100. Desde una perspectiva de ingeniería, esto requiere estrategias de paralelismo avanzadas. 7.1 Paralelismo de Expertos (Expert Parallelism) En MoE, los expertos son demasiado grandes para caber en una sola GPU junto con los parámetros base. Se utiliza paralelismo de expertos: • Los parámetros ”densos” (mecanismos de atención) se replican en todas las GPUs. • Los expertos se distribuyen (sharding) entre diferentes GPUs. Esto introduce la necesidad de una comunicación All-to-All en cada paso hacia adelante y hacia atrás, donde los tokens deben ser enviados a la GPU que aloja al experto correspondiente. La latencia de comunicación Tcomm se modela como: Tcomm =B·d·bytes_per_float Ancho de Banda de Interconexión (16) La optimización de esta latencia es crítica y se logra mediante interconexiones Infiniband de alta velocidad y algoritmos de enrutamiento que minimizan el movimiento de datos entre nodos físicos distantes. 8 Resultados Experimentales A continuación se presentan los resultados recopilados y analizados para este estudio, comparando Grok-4 con otros modelos de frontera. 7