「长上下文语言模型」共找到 8146 篇相关文章
7B小模型超越DeepSeek-R1：模仿人类教师，弱模型也能教出强推理LLM | Transformer作者团队
Transformer作者之一创立的Sakana AI带来新方法，让教师模型像人类教师一样做启发式教学，根据已知解决方案输出解释。用此方法训练的7B小模型在传授推理技能上比671B的DeepSeek - R1更有效。
超低延迟的端到端语音模型！首次生成音频仅需53ms，比同级别模型快3-5倍！
随着语音应用场景普及，语音大模型响应慢成瓶颈。VITA团队开源端到端语音模型VITA - Audio，7B参数模型首次生成音频仅53毫秒，比同级别快3 - 5倍，完全开源，有超低延迟等优势。
斯坦福新论文：微调已死，自主上下文当立
斯坦福大学等机构研究人员新论文指出，依靠上下文工程，无需调整权重，模型也能变聪明。他们提出智能体上下文工程ACE，不依赖模型重训，让上下文自主进化，在多场景测试中表现优于多种方法。
忘掉大模型，微软实证：小模型才是Agentic AI的未来！
过去两年大模型在数学竞赛题上靠Test - Time Scaling发展遇天花板。微软rStar2 - Agent让14B小模型学会‘写代码→跑结果→改思路’，表现出色。还介绍了其基础设施、算法、训练配方等方法。
拒绝不必要Think：微软&北大提出第一种自适应大型混合推理模型
大型推理模型冗长思考开销大，微软研究院和北大提出大型混合推理模型（LHRMs），它能依查询上下文决定是否思考。介绍了两阶段训练流程、评估指标，实验显示其超越现有模型且效率高。
上下文窗口限制被打破：Subquadratic推出了一个1200万Token的窗口
2026 年前沿模型宣传至少 100 万 Token 上下文窗口，但利用不佳。Subquadratic 推出能处理 1200 万 Token 窗口的模型，称可绕过问题，还将推 5000 万窗口模型，其 SSA 架构有优势，基准测试成绩佳。
字节Seed新作：模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。
LTX-2开源：首个能同时生成视频和音频的模型
LTX-2开源，它是Lightricks团队开发的首个开源多模态基础模型，能联合生成音频和视频。采用非对称双流扩散变换器架构，用深度多语言文本编码器，速度比许多纯视频开源模型快，让模型理解声画关联。
快速理解热门LLM大语言模型
本文用通俗易懂方式帮读者理解LLM、Transformer、Prompt等基本概念，介绍大模型API使用，如温度参数、角色设定等，还提及Function Calling、Agent、MCP等内容，并对AI未来发展作出假想。
Meta首席科学家LeCun：当前 AI 模型缺乏四项关键人类智能特质
在巴黎AI行动峰会上，Meta首席AI科学家Yann LeCun提出智能四项标准，指当前主流AI系统尤其语言模型在这些方面不足。他认为业界‘组合式’增强是‘功能修补’，介绍Meta‘世界模型’及V-JEPA模型。