「长时记忆」共找到 1637 篇相关文章
静态稀疏已死:Flux Attention 开启长文本 LLM 自适应推理新时代
文章指出长上下文LLM高效推理面临性能与效率难题,先介绍Elastic Attention打破静态稀疏桎梏,后重点阐述全新的Flux Attention,它将动态稀疏注意力范式升级为层级别路由,解决了算法与硬件的矛盾,在多方面实现突破。
Harness Monitor:当多个 Agent 同时写代码时,如何看住质量
作者在有了 OpenAI 赞助的 Codex Pro 后,让多个 Agent 同时在一个代码库工作。他开发的 Harness Monitor 从 Git 视角出发,解决多 Agent 写代码时的质量问题,涉及观察、治理等多方面能力。
DeepSeek-OCR是「长文本理解」未来方向吗?中科院新基准给出答案
DeepSeek-OCR的视觉文本压缩技术降低长文本处理成本,中科院自动化所等团队推出VTCBench基准测试评估模型视觉认知,含三大任务及衍生版本,测试结果有‘U型曲线’,还评测多种尖端模型。
低Token高精度!字节复旦推出自适应推理框架CAR
字节与复旦大学研究人员提出自适应推理框架CAR,能根据模型困惑度动态选短答或长推,在多基准测试中平衡了准确性与效率,打破长文本推理必然性能更好的认知。
最新最完整的Agent Memory综述!
《Memory in the Age of AI Agents: A Survey》由多顶尖机构联合发布,对AI智能体记忆机制系统梳理。从形式、功能、动态维度厘清AI记忆本质,提出构建下一代强人工智能的蓝图。
Karpathy刚进Anthropic,转头又投了它
AI初创公司Engram成立8个月,估值达6亿美金,获9800万美元融资。它聚焦AI记忆,用Cartridges技术降内存、提速度,将推理和记忆层拆开,团队成员背景强大,押注AI范式新转向。
苹果新作:内化视觉思考,推理提速 5 倍
Apple研究团队提出Internalized Visual Thinking(IVT),一种将预测性世界建模能力内化到模型表征中的后训练框架。它在训练时预测未来,推理时直接回答,相比Visual CoT推理提速超5倍。
Transformer已死?DeepMind正在押注另一条AGI路线
谷歌团队借鉴人类联想记忆,提出嵌套学习,解决AI「灾难性遗忘」问题。强调优化器与架构协同进化,构建联想记忆系统。HOPE架构在多任务表现出色,或开启AI从被动训练到主动进化大门。
又一推理新范式:将LLM自身视作「改进操作符」,突破长思维链极限
Meta等机构研究者将LLM视为「思维」改进操作符,探究并行 - 蒸馏 - 精炼(PDR)推理方法。实验显示,PDR在数学任务中提升准确率,还训练8B模型让推理方法更适配,减少训练与部署的不匹配。
清华刘知远团队论文:最小化结构改动,短文本到长文本丝滑升级 | ICLR 2026
大语言模型发展中,上下文长度成关键瓶颈,主流架构计算开销大。清华刘知远团队提出《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》,提出可切换注意力框架,为长上下文研究提供新思路。