「混合长度理论」共找到 461 篇相关文章
清华新框架让大模型学会「精读略读」！实现12倍端到端加速，基准评分翻倍
清华等团队提出全新框架RAM，受人类阅读认知启发，将“精读+略读”混合策略引入上下文压缩，突破现有方法效率瓶颈，在多任务上表现出色，实现12倍端到端加速，为长上下文LLM部署提供新范式。
面壁MiniCPM-SALA模型，稀疏-线性注意力，单卡吞吐百万上下文
面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。
中学生就能看懂：从零开始理解LLM内部原理【十三】｜GPT 架构如何工作 ？
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系，阐述其从输入文本到预测下一词概率的流水线，详述训练和推理流程，还提及GPT架构进化的混合专家（MoE）模型。
大模型桌游试玩员来了：用五大画像模拟「千人千面」，评分精准度超越GPT-5.1
盛大东京研究院等团队提出MeepleLM，首个能模拟玩家视角给出建设性批评的虚拟试玩模型。它构建专属数据集，引入MDA理论，提炼五种玩家画像。实验显示其评分精准度超GPT - 5.1等通用模型。
Strix AI驱动的漏洞动态验证能力分析
传统SAST工具只能发现‘可能有问题的代码’，无法确认漏洞是否可被利用，导致高误报率。Strix采用‘静态分析 + 动态验证’的混合模式，先定位可疑点，再对漏洞进行真实攻击验证，显著降低误报率。
让 AI 自己打怪升级，Meta用Self-play RL把Coding推向超级智能
Meta FAIR、Meta TBD Lab等朝着“超级智能软件工程Agent”迈出第一步。SSR让大模型零人类标注，靠自生成Bug和自修复稳定碾压人类数据基线，新旧范式对比优势明显，还介绍方法、实验结果与理论洞察。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
Qwen3-Next：迈向更极致的训练推理性价比
文章发布Qwen3-Next架构及Qwen3-Next-80B-A3B系列模型，通过混合注意力等改进提升训练推理效率。介绍模型结构、性能优势，还说明使用方法，包括在多平台部署及处理超长上下文，展望持续优化架构。
攻克AI过度思考难题！美团新研究让通过“可验证”过程奖励激活LRM的高效推理
美团等机构研究团队针对LRM“过度思考”问题，提出可验证的过程奖励机制（VSRM）。它结合可验证奖励与步骤级奖励，为推理步骤分配奖励信号。实验显示其能降低输出长度并保持性能。
专为“超大模型而生”，新一代训练引擎 XTuner V1 开源！
9月8日，上海AI实验室开源书生大模型新一代训练引擎XTuner V1。它能应对复杂训练场景、速度更快，尤其在超大规模稀疏混合专家（MoE）模型训练中优势显著。还将一并开源AIOps工具DeepTrace与ClusterX。