开头的条款，结尾的问题
企业想查询长手册：规则在开头，问题却在几百节之后。扩大输入上限看似自然，但接收文档、表示距离、正确找回规则是不同能力。本文研究第二步，说明为何不能自动证明第三步。从平面旋转出发推导位置缩放，再比较数学结果与实际上下文扩展所需证据。
摘要。用二维向量与点积解释旋转位置编码RoPE，推导相对距离依赖并验证平移不变性。未训练示例中位置除以4将距离80映至20的相位，却把邻居几何间隔从.099958缩至.024999。双频示例说明单通道周期性不代表完整表示。RoFormer与LongRoPE 2用于区分编码性质、作者结果与本文未测量的企业任务理解。
位置之前：注意力比较什么
Token是序列单位，不一定是完整词。query可理解为某位置寻找什么，key表示另一位置可匹配的内容。这是操作性解释，不是人的意图。点积求坐标乘积和形成评分，归一化后组合value向量。本文隔离归一化前评分，不称其为回答正确概率。
为隔离顺序问题，保持内容向量不变，只移动位置。无位置信息的比较自身无法区分位置。真实向量依赖文本和前层；固定它们使编码效应可读，但不能预测完整语言行为。
旋转而不改变长度
平面旋转改变方向但保持长度。用列向量对q和k，在整数m把q转mθ弧度，在n把k转nθ。本文θ=.1弧度每位置步。箭头解释数值，不代表神经元或处理器物理运动。
各行用正弦余弦组合坐标。转置T交换行列，等于反向旋转；旋转乘逆为单位矩阵I，故欧氏长度不变。程序检查长度5的(3,4)在.1、2、8弧度后平方范数仍25。这是恒等式检查，不是训练LLM稳定性测试。
为什么只剩相对距离
旋转后保留什么？代入q_m,k_n并合并矩阵，nθ后转−mθ等于(n−m)θ。显式位置依赖变为差值，即RoFormer中RoPE核心。推导用初等恒等式；本数值例子没有复现作者训练。
同时加整数c保持n−m与固定向量评分。代码比较(0,20)、(7,27)、(40,3)与平移100结果，Python浮点容差10⁻¹⁴。前加100个token不保证答案不变，内容、掩码、归一化与向量会变。仅验证隔离局部性质。
完整示例：单频
取q=k=(1,0)，S(Δ)=cos(.1Δ)，Δ=n−m单位token步。20相位2弧度、评分−.416147；80相位8、评分−.145500。归一化前负分合法，不是负概率。0至20参考仅比较相位，没有训练20-token模型。
连续距离下单频在2π/θ≈62.831853步后重复。整数63只是近重合，.999859，不等于0。这是单通道局限，不证明LLM混淆0和63；坐标、内容和层共同影响输出。
压缩位置：收益与代价
在80保持最大相位可除以s=4：80 ×.1/4=2，等于原20。但20现在相位.5、评分.877583而非−.416147，旧范围几何也变。分数旋转坐标并非切分文本token。
相邻单位圆编码弦长为半角正弦两倍。θ=.1时原间隔.0999583在s=4后为.0249993。这是几何压缩，不是准确率损失。模型可适配权重、频率或层，成功需本文未做的训练评估。收益与代价均属于表示。
| 距离（token） | 未缩放 | 缩放4 |
|---|---|---|
| 1 | 0.995004 | 0.999688 |
| 20 | −0.416147 | 0.877583 |
| 63 | 0.999859 | −0.004204 |
| 80 | −0.145500 | −0.416147 |
双频不是两个训练模型
以两个等权坐标对构造K(Δ)=[cos(.1Δ)+cos(.01Δ)]/2，并非特定模型完整核。63步首余弦近1，第二.808028，均值.903943非1。80原均值.275603，缩放后.281960等于原20。保存0至80整数距离绘图。频率便于计算，不复现商业模型或语言观测。
多频消除部分歧义，但不认证安全长度、全局周期、可靠最大值或评分理解单调关系。内容权重固定时曲线回升不证明远处相关。这是几何而非LLM实测。核心直觉：扩大尺度也改变区分邻近位置的尺子。
引导附录：内容改变曲线
q=k示例隐藏了细节：相对距离带符号，query前后key评分未必相同。设J=[[0,−1],[1,0]]为90度旋转。由R(φ)=I cosφ+J sinφ，点积展开为两个内容相关系数：普通点积，以及q与转四分之一圈的k比较。因此位置并非对所有内容对同样作用。
q=(1,2)、k=(3,−1)时系数分别1 × 3+2 ×(−1)=1与1 × 1+2 × 3=7。Δ变号保留余弦、反转正弦。程序在−20、−1、0、1、20计算直接与展开点积，以10⁻¹⁴容差断言一致。主图仍明确为对称例，附加结果存JSON。7不是学习权重或EL-AI参数，而是所选坐标结果。
这也澄清因果掩码：生成模型可只允许query使用前方位置，这是独立于旋转的规则，可无视评分排除key。本计算不施掩码或softmax，并用正距离展示几何，因此不是因果注意力执行。旋转不变也不表示新增key后输出不变，归一化取决于可选集合。
手册问题因此分为有用表示、可访问证据、任务中使用证据，相关但可分别验证。推导不确定真实模型哪条款权重最大，只说明仅测试位置生成函数不足。保留初等计算及其假设，才能明确与文档理解的边界。
阅读的论文实际说明什么
Jianlin Su、Yu Lu、Shengfeng Pan、Ahmed Murtadha、Bo Wen、Yunfeng Liu的RoFormer于2021年4月20日提交；本文读2023年11月8日arXiv v 5第3–4节。提出坐标对旋转及语言评估。WMT 2014英德约450万句对在作者设置下报告BLEU 27.3对27.5。不证明无限理解；本文未下载数据或训练模型。
Ning Shang等LongRoPE 2发表于ICML 2025、PMLR 267:54203–54218；另读2025年2月27日arXiv v 1方法实验：按远距检索token困惑度搜索缩放，并用短长窗口适配权重。该版本报告LLaMA 3-8 B在128 k的13个合成RULER任务均分82.03，Phi 3-mini 58.81；协议100亿token、64块A 100。这是作者结果，出版状态另行核实，不混同技术版本。
分数差异及合成任务很重要：均分不是每个手册问题可靠性。方法涉及搜索、适配与短窗口评估，不仅改常数。本旋转未复现LongRoPE 2或选最优因子。引用是核实参考，不是完整榜单或否认2026后续进展。
超越输入上限验证目标
手册任务需测试例外版本中规则检索与应用。建议改变长度、证据位置、干扰项，保持答案可核实，并区分字面检索与多规则推理。同一模型版本比较，记录RoPE、精度、提示和样本。本文未执行或赋成功率，几何解释必要性不替代它。
成本不同于质量：按对旋转每token工作随维度线性增长，无需稠密d×d矩阵，但不消除稠密注意力交互，也不确定实现内存。无GPU、延迟、能耗测量。代码仅用Python math，无训练权重，保存结果断言。图连接整数距离计算帮助阅读，不是物理测量。
更多页证明输入容量，尚非关系理解。RoPE显式表示距离，缩放改变结构，需模型任务评估。本例计算几何收益与局部代价。企业可要求文档相关证据，不把名义窗口大小当结果保证。
from experiment import score
for distance in [1,20,63,80]:
print(distance, score(0,distance), score(0,distance,4))代码、数据与说明 · JSON. 教学计算使用 Python 3.14.0，图使用 Matplotlib 3.11.2。分析由 AI 辅助，不声称经过同行评审或人工审核。原创 ImageGen 封面仅作示意，不记录 EL-AI 人员、场所或实际安装。来源查阅于 2026 年 10 月 17 日。