「上下文感知」共找到 946 篇相关文章
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。
从少样本到千样本！MachineLearningLM给大模型上下文学习装上「机器学习引擎」
新研究 MachineLearningLM 提出轻量可移植「继续预训练」框架，突破 LLM 在上下文学习局限，能学上千示例，在多领域分类任务超基准模型。它有三项核心创新，效果惊艳且应用潜力大，还指明未来研究方向。
真·开外挂！MIT新研究：架构0改动，让大模型解锁千万级上下文
MIT CSAIL团队提出递归语言模型RLM，不改动模型架构，让GPT - 5、Qwen - 3等模型具备千万级token超长文本处理能力。它将上下文处理“外包”，实验显示其处理规模超前沿模型，复杂任务优势显著，多数场景性价比高。
EMNLP 2025 | CARE：无需外部工具，让大模型原生检索增强推理实现上下文高保真
MetaGPT等机构团队发布CARE框架，可让LLM将推理上下文与自身检索能力结合，已全面开源。它提出原生检索增强推理范式，采用两阶段训练策略，在问答基准实验中表现出色，为解决模型问题提供新路径。
训练提速5倍，响应缩短50%：动态自感知能力，重塑高效LLM Reasoning范式
大型语言模型“思维链”技术有冗余，传统优化方案存在静态先验与动态能力错配问题。论文提出的DR.SAF框架赋予模型动态自感知能力，通过三模块协作，实现推理“精准瘦身”，解决根本冲突。
AI破解宠物心声，读懂你的猫狗？全球首个AI与动物感知中心揭秘
伦敦政治经济学院的Jeremy Coller动物感知中心获400万英镑资助，汇集多领域专家，研究动物意识。中心探索AI在宠物交流的潜力与风险，还关注动物福利伦理等更广泛问题。
ACL 2025 | 大模型乱试错、盲调用？KnowSelf让智能体有「知识边界感知」能力
ACL 2025 论文《Agentic Knowledgeable Self-awareness》聚焦提升智能体「知识边界感知」能力。KnowSelf 方法让智能体自主调节知识运用，实验显示其性能优，还探索了智能体自我认知多方面影响。
Cursor 1.3 ~ 1.6 版本更新全梳理：终端不再挂、Agent 更聪明、上下文更可控
Cursor 1.3 - 1.6 版本有诸多更新。如自定义斜杠命令、改进 Agent 终端、升级 Agent 能力、增加左侧边栏管理等，还在上下文控制、工作流保护、MCP 资源支持等方面有优化。
字节突然开源Seed-OSS，512K上下文碾压主流4倍长度！推理能力刷新纪录
字节跳动突发开源360亿参数的Seed-OSS-36B，呼应OpenAI开源策略。它有512K超长上下文，引入“思考预算”机制。多项基准测试达开源SOTA，字节Seed团队此前也开源多个项目。