Una cláusula al principio, una pregunta al final
Una empresa consulta un manual largo: regla al principio, pregunta tras cientos de secciones. Ampliar entrada parece natural. Pero aceptar documento, representar distancias y recuperar regla son capacidades diferentes. Estudiamos segunda para explicar por qué no prueba tercera. Partimos de rotación plana, derivamos escalado y contrastamos evidencia matemática con extensión real.
Resumen. Explicamos RoPE con vectores y producto escalar, derivamos distancia relativa y verificamos invariancia. Sin entrenar, dividir posiciones por 4 lleva distancia 80 a fase de 20 y reduce separación vecina de.099958 a.024999. Dos frecuencias muestran límites de un canal. RoFormer y LongRoPE 2 separan propiedades, resultados ajenos y comprensión empresarial no medida.
Antes de posiciones: qué compara atención
Token es unidad, no necesariamente palabra. Query representa lo buscado por una posición y key lo comparable de otra: interpretaciones operativas, no intenciones. Producto escalar suma productos de coordenadas para puntuaciones normalizadas después al combinar values. Aislamos puntuación previa, no probabilidad de respuesta correcta.
Para aislar orden fijamos vectores y cambiamos posiciones. Sin información posicional comparación no distingue ubicaciones. Vectores reales dependen de texto y capas; fijarlos hace legible codificación, pero no predice lenguaje completo.
Rotar sin cambiar longitud
Rotación plana cambia dirección conservando longitud. Pares columna q,k: en entero m rotamos q por mθ radianes, en n rotamos k por nθ. Aquí θ=.1 radianes por paso. Flechas explican números, no neuronas o movimiento físico.
Filas combinan coordenadas con seno y coseno. Traspuesta T intercambia filas y columnas y da rotación opuesta. Producto con inversa da I, preservando longitud. Código verifica(3,4), longitud 5, norma cuadrada 25 a.1,2,8 radianes. No es estabilidad de LLM entrenado.
Por qué permanece distancia relativa
¿Qué queda? Sustituimos y agrupamos: girar nθ y luego−mθ equivale a(n−m)θ. Dependencia pasa a diferencia, núcleo RoPE en RoFormer. Identidades elementales; ejemplo no reproduce entrenamiento ajeno.
Sumar c conserva n−m y puntuación fija. Código compara(0,20),(7,27),(40,3) con desplazamiento 100, tolerancia 10⁻¹⁴. Anteponer 100 tokens puede cambiar respuesta por contenido, máscaras, normalización y vectores. Es propiedad local aislada.
Ejemplo completo: una frecuencia
Elegimos q=k=(1,0): S(Δ)=cos(.1Δ), Δ=n−m en pasos token.20 da fase 2 radianes y−.416147;80 da 8 y−.145500. Negativos válidos, no probabilidades negativas. Referencia 0–20 compara fases; no entrenamos modelo de 20 tokens.
Una frecuencia repite tras distancia continua 2π/θ≈62.831853. Entero 63 casi coincide,.999859, no identidad con 0. Límite de un canal, no confusión demostrada en LLM; coordenadas, contenidos y capas afectan salida.
Comprimir posiciones: ventaja y precio
Para conservar fase a 80 dividimos por s=4:80 ×.1/4=2, antes 20. Distancia 20 ahora fase.5 y.877583 en vez de−.416147. Cambia geometría previa. Coordenadas fraccionarias no parten tokens.
Cuerda vecina es dos veces seno del medio ángulo. θ=.1: separación.0999583 pasa a.0249993 con s=4. Compresión geométrica, no pérdida de exactitud. Modelo puede adaptar pesos, frecuencias o capas; éxito requiere entrenamiento no realizado. Beneficio y coste son de representación.
| Distancia (tokens) | Sin escala | Escala4 |
|---|---|---|
| 1 | 0.995004 | 0.999688 |
| 20 | −0.416147 | 0.877583 |
| 63 | 0.999859 | −0.004204 |
| 80 | −0.145500 | −0.416147 |
Dos frecuencias no son dos modelos entrenados
Construimos K(Δ)=[cos(.1Δ)+cos(.01Δ)]/2 con dos pares iguales, no kernel específico completo. A 63 primero casi 1, segundo.808028, media.903943 no 1. A 80,.275603 pasa a.281960, igual a original 20. Enteros 0–80 guardados para curvas. Frecuencias simplifican cálculo, no replican modelo comercial ni observación lingüística.
Combinar resuelve ciertas ambigüedades, no certifica longitud, periodo global, máximo fiable ni vínculo con comprensión. Curva que sube con contenido fijo no demuestra relevancia lejana. Es geometría, no atención observada. Ampliar escala cambia la regla para distinguir vecinos.
Apéndice guiado: contenido cambia curva
q=k oculta detalle: distancia es firmada y keys antes/después no puntúan igual necesariamente. J=[[0,−1],[1,0]] gira 90 grados. Como R(φ)=I cosφ+J sinφ, producto tiene dos coeficientes de contenido: producto escalar y comparación con k girado un cuarto. Posición no actúa idénticamente sobre todo contenido.
Para q=(1,2),k=(3,−1), coeficientes 1 × 3+2 ×(−1)=1 y 1 × 1+2 × 3=7. Invertir Δ conserva coseno y cambia seno. Código verifica productos directo/expandido a−20,−1,0,1,20 con tolerancia 10⁻¹⁴. Figura sigue simétrica; extras en JSON. El 7 no se aprende ni es parámetro EL-AI; viene de coordenadas.
Esto aclara máscara causal: generación puede permitir solo posiciones anteriores, regla aparte de rotación que excluye key pese a puntuación. Sin máscaras ni softmax, usamos distancias positivas para geometría, no atención causal. Invariancia de giro no conserva salida al añadir keys: normalización depende de alternativas.
Problema separa representación útil, evidencia accesible y uso en tarea: condiciones conectadas comprobables aparte. Derivación no selecciona cláusula de mayor peso real; explica insuficiencia de probar solo posiciones. Conservar cálculo y supuestos explicita frontera con comprensión.
Qué establecen los trabajos
RoFormer de Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen y Yunfeng Liu se presentó 20 abril 2021; leemos arXiv v 5 del 8 noviembre 2023, secciones 3–4. Propone rotaciones por pares y evalúa lenguaje. WMT 2014 inglés-alemán, unos 4,5 millones de pares, reporta BLEU 27,3 frente 27,5. Sin comprensión ilimitada demostrada ni reproducción propia.
LongRoPE 2 de Ning Shang y colegas está en ICML 2025, PMLR 267:54203–54218. Leemos también arXiv v 1 del 27 febrero 2025: búsqueda por perplejidad de tokens distantes y adaptación con ventanas cortas/largas. Reporta LLaMA 3-8 B RULER medio 82,03 a 128 k en 13 tareas sintéticas; Phi 3-mini 58,81, con 10 mil millones tokens y 64 A 100. Resultados ajenos; estado publicado verificado separado de versión leída.
Diferencias y tareas sintéticas importan: media no es fiabilidad en cada pregunta. Métodos requieren búsqueda, adaptación y prueba corta, no solo constante. No reproducimos LongRoPE 2 ni elegimos factores. Son referencias verificadas, no lista exhaustiva ni negación de avances posteriores en 2026.
Verificar objetivo más allá de entrada
En manual probar recuperación y aplicación entre excepciones/versiones. Protocolo variaría longitud, evidencia y distractores con respuestas verificables, separando recuperación literal y razonamiento multirregla. Misma versión, registrar RoPE, precisión, prompt y muestra. No reportamos prueba o éxito; geometría la motiva sin reemplazarla.
Coste distinto de calidad: rotar pares es lineal en dimensión por token, sin matriz d×d densa. No elimina interacciones ni establece memoria concreta. Sin GPU, latencia o energía medidas. Python math sin pesos guarda resultados y aserciones. Figuras conectan distancias enteras por legibilidad, no mediciones físicas.
Más páginas prueban entrada, no comprensión de relaciones. RoPE representa distancias; escalado cambia estructura y exige evaluación. Ejemplo calcula beneficio y coste local. Empresas pueden pedir evidencia sin convertir ventana nominal en garantía.
from experiment import score
for distance in [1,20,63,80]:
print(distance, score(0,distance), score(0,distance,4))Código, datos e instrucciones · JSON. Cálculos didácticos ejecutados con Python 3.14.0; figuras con Matplotlib 3.11.2. Análisis asistido por IA, sin afirmar revisión por pares ni humana. Portada original ImageGen ilustrativa: no documenta personas, sedes ni instalaciones de EL-AI. Fuentes consultadas el 17 de octubre de 2026.