「长整数算术」共找到 685 篇相关文章
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
CVPR 2026 Oral｜告别模型合并冲突！南大等提出OrthoReg：极简正交正则化，揭开任务算术的底层机制
南京大学等团队为任务算术建立底层理论框架，提出「任务特征特化」属性，推导出几何约束方法OrthoReg。该方法引入极简正交正则化项，提升模型合并性能，论文被CVPR 2026接收并评为Oral，代码等已开源。
Sora2还在5秒打转，字节AI生视频已经4分钟“起飞”
字节和UCLA联合提出Self - Forcing++方法，无需更换模型架构或重收集数据集，就能生成分钟级长视频，最长达4分15秒，高质量且开源，在长、短时长生成上性能领先。
ICML 2025 | 清华、上海AI Lab等提出傅里叶位置编码，多项任务远超RoPE
长文本能力对语言模型重要，但现有模型训练窗长有限，流行的RoPE也有局限。清华、上海AI Lab团队用傅里叶分析解读其不足，提出傅里叶位置编码FoPE，提升长文本泛化能力，实验表现超RoPE。
混合架构用线性注意力还是滑窗注意力？复旦OpenMOSS团队：我全都要！
复旦大学邱锡鹏团队系统研究了混合模型在长上下文下的表现，提出滑窗线性注意力策略，使模型在评测中实现 16 倍免训练外推 并保持 100% 准确率。
一篇双引擎进化的长程Agents系统性综述
人大、北大、清华等联合发表149页长时程Agent综述，给出首个统一形式化定义，梳理出‘外化Harness工程×内化模型优化’双螺旋共演化主线，用六个视角串起技术版图。
扒一扒Meta全新大模型Muse Spark里藏着的PDR技术
Meta发布闭源大模型Muse Spark及‘沉思模式’，背后藏PDR推理技术。该技术通过‘并行起草+精炼’突破性能瓶颈，对比传统长CoT范式优势明显，在AIME竞赛题目测试中准确率显著提升。
ICML 2025｜如何凭「自动补全」实现100K生成3×加速？
在大模型推理复杂的当下，生成超长文本成本高。BIGAI NLCo团队提出推理加速框架TokenSwift，被ICML 2025接收。它重构传统自回归推理，解决长生成瓶颈，在多模型实验中表现亮眼。
阿里QwenLong-32B：1W+超长Token推理，知识密集型复杂文档高效推理
文章介绍阿里QwenLong - 32B在长文本推理的能力。长文本推理有训练效率低和优化不稳定问题，QWENLONG - L1通过强化学习等解决，还阐述其组件、训练步骤，并给出实战代码及相关链接。
阿里开源QwenLong-L1：首个以强化学习训练的长上下文推理大模型
LRMs扩展到长文本场景是挑战，阿里开源QwenLong-L1框架，是首个用强化学习训练用于长文本推理的模型。它含三个核心组件，QwenLong-L1-32B性能领先，与Claude-3.7-Sonnet-Thinking相当。