「稀疏视角」共找到 293 篇相关文章
突破一亿Token极限:EverMind提出MSA架构,实现大模型高效端到端长时记忆
机器之心发布文章介绍,大模型长期记忆能力受限于上下文长度。《MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens》提出MSA架构,突破扩展性、精度和效率的不可能三角,实现100M长度的大模型长时记忆框架。
硅基大脑记忆觉醒!会遗忘、会反思、会成长的AI正在到来
哈尔滨工业大学等机构团队发表研究,用认知神经科学视角审视AI记忆系统,探讨如何让AI产生“自我”,构建会遗忘、反思、成长的记忆大脑,还涉及记忆分类、存储、管理、评估、防御及未来演进等内容。
1月24日,崇礼即将召开一场“雪道上的AI战略会”|甲子光年
2026年1月23 - 25日,崇礼论坛在崇礼太舞小镇举行,主题为“向新而立”。开幕式邀请俞敏洪、周鸿祎等嘉宾探讨AI长期投入问题。还有四大专场从不同视角呈现AI产业,重视场外交流建立长期连接。
复杂空间推理新SOTA,性能提升55%!中山大学新作SpatialDreamer
中山大学等机构推出SpatialDreamer,模拟人类空间认知过程,构建闭环推理流程,还提出GeoPO解决奖励稀疏问题,构建SpatialDreamer - SFT数据集。实验显示其在多基准达SOTA,为AI空间智能发展开辟新路径。
DeepSeek V3到V3.2的进化之路,一文看全
知名AI研究者Sebastian Raschka发布深度博客,详细梳理DeepSeek V3到V3.2进化历程。DeepSeek V3.2性能对标GPT - 5和Gemini 3.0 Pro,且为开放权重模型,报告涵盖众多有趣领域和知识。
攻克大模型训推差异难题,蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日,蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0,独创棒冰算法解决训推差异难题,实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能,降低推理成本。
Meta最新REFRAG框架引爆RAG圈!KV缓存暴降90%,速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示,它降低KV缓存、加速TTFT,在多任务表现佳,为大模型与知识库结合提供新范式。
唯快不破:上海AI Lab 82页综述带你感受LLM高效架构的魅力
大语言模型性能提升但成本高,制约落地应用。上海AI Lab联合多家机构总结440余篇论文,形成82页综述,将LLM高效架构分为7类,探讨最新进展,还涉及线性化技术、硬件实现等内容。
EMNLP2025 | LLM多次回答一致就一定正确吗?非也
随着LLMs在高风险领域广泛应用,其输出的事实性错误引发安全质疑。中科院计算所和美团团队论文揭示自我一致错误,传统检测方法对此失效,提出跨模型探针法提升检测能力。
40年后,Dijkstra算法极限再被突破,清华段然团队更快最短路径算法摘STOC最佳论文
清华交叉信息研究院段然团队研究出全新算法,改进图灵奖得主等人1984年提出的算法,跳过不必要排序,专注重要点间最短距离,缩短计算时间。该研究在STOC 2025获最佳论文奖。