RoPE: cómo la mayoría de los LLM abiertos codifican la posición de cada token

Una red neuronal no percibe el orden de las palabras por defecto, por lo que los modelos de lenguaje necesitan embeddings posicionales para distinguir oraciones con las mismas palabras. El método dominante en los LLM abiertos de 2026 es RoPE (Rotary Position Embedding), descrito originalmente en el paper RoFormer. A diferencia de GPT-2, que suma un vector de posición una sola vez al inicio, RoPE aplica la información posicional dentro de cada capa de atención, como hace MiniMax-M3. Su rotación de vectores de consulta y clave hace que la relación entre dos tokens dependa solo de su distancia, lo que favorece la generalización a secuencias más largas que las vistas en entrenamiento.