「长文本推理」共找到 2822 篇相关文章
大模型也需要睡觉！让AI打个盹，醒来更聪明
卡内基梅隆大学和马里兰大学研究发现，大模型处理长上下文易累傻。受人脑机制启发，设计睡眠机制，让模型在上下文窗口快满时打盹，反复咀嚼信息，压缩进长期权重。测试显示，增加“睡眠”轮次能提升深度推理表现。
Poe：DeepSeek使用率下降50%，快手崛起、OpenAI暴涨
2025年春季，Poe发布AI模型使用趋势报告。DeepSeek使用率降超50%，OpenAI因文生图功能暴涨。文本、视频、推理、图像和音频5大领域中，各模型表现不一，如快手Kling家族、谷歌Imagen 3家族等有亮眼表现。
Transformer祖传设计遭暴击，COLM顶会三篇论文发难
COLM 2026上，三篇论文对Transformer关键技术发难。《Cracks in the Foundation》指出长上下文架构选择影响大；《Lost in Backpropagation》揭示输出投影层信息损耗严重；《When Fewer Layers Break More Chains》表明层剪枝影响长链推理。
中学生就能看懂：从零开始理解LLM内部原理【十二】｜位置嵌入 - 给模型装上"GPS"
文章指出Transformer对词顺序不敏感，引出位置嵌入概念。介绍经典的函数编码、可学习位置嵌入法及新主流RoPE，还提及为让模型处理长文本，在RoPE基础上用PI和YaRN等扩窗技巧。
北大DeepSeek论文或预定ACL Best Paper！梁文锋署名
北大DeepSeek联合发布的NSA论文已被ACL 2025录用且评分高，有望冲击最佳论文。该技术革新传统注意力机制，提升算力效率，是长文本处理的突破。此外，张铭教授团队还有多篇论文上榜。
ICML 2025 | 千倍长度泛化！蚂蚁新注意力机制GCA实现16M长上下文精准理解
在大语言模型发展中，长文本建模挑战大。蚂蚁研究团队提出注意力机制GCA，可端到端学习检索相关片段，实现超长序列处理与泛化，其Triton kernel实现已开源，论文被ICML 2025接收。
刚刚，大模型棋王诞生！40轮血战，OpenAI o3豪夺第一，人类大师地位不保？
国际象棋积分赛成果出炉，OpenAI o3以人类等效Elo 1685分夺冠，Grok 4和Gemini 2.5 Pro紧随其后。Kaggle发布国际象棋文本排行榜，评估模型战略推理等能力，还推出相关数据集，虽有局限但意义重大。
时隔六年，OpenAI 为什么再次开源？
OpenAI发布两款开源纯文本推理模型，时隔六年再次开源。其gpt - oss - 120b性能与o4 mini相当，成本降超10倍。此次开源有战略考量，或是为构建生态、吸引企业，也反映出其对自身价值定位更清晰。
SSM+扩散模型，竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。
基于闪电注意力机制，创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。