「Memory Decoder」共找到 86 篇相关文章
大模型最后一层竟是推理累赘?绕开对齐税,奥数准确率暴涨 22.4%!
Qwen团队、清华和南洋理工研究打破传统认知,揭示‘对齐税’现象。提出Confident Decoding策略,在多架构和评测集实验中表现出色,开销低,挑战‘LLM最后一层最优’常识。
用SFT打出RL的效果?微软联合提出高效后训练算法
大模型后训练阶段,SFT 和 RL 各有优劣。微软等联合提出新工作,量化 SFT 和 RL 在数据层面的差距,提出 IDFT 和 Hinted Decoding 等高效后训练技术,实验显示新方法泛化超 SFT、效率超 RL。
CUTLASS CuTe GEMM细节分析(一)——ldmatrix的选择
作者作为CUTLASS CuTe初学者,记录问题分析过程。本文聚焦如何基于TiledMMA及输入矩阵在Shared Memory上的Layout选合适Copy Operation完成拷贝,结合实例讲解ldmatrix指令选择,还给出参考代码。
Meta出走华人创业团队,种子轮800万美元,要打造视觉AI记忆大脑
由前Meta顶尖科学家创立的Memories.ai获800万美元种子轮融资。其大视觉记忆模型LVMM解决AI‘记忆缺失’问题,在多领域刷新SOTA基准,应用潜力大,还开放API及网页应用。
他们让万亿参数RL学会了「省着跑」,顺便砍掉九成算力
2025年,强化学习成大模型进化主战场,但万亿参数模型跑RL成本高。Mind Lab团队实现1T参数模型LoRA高效RL训练,GPU消耗降90%,技术开源。此外还有Memory Diffusion记忆机制等成果。
Meta 系 95 后华人明星团队,创业一年就与高通达成合作,让手机拥有多模态记忆
由华人创业者沈俊潇创办的 Memories.ai 发布 LVMM 2.0 并宣布与高通合作,该模型 2026 年将在高通处理器上原生运行。它解决视频可搜索性问题,应用广泛,能降低延迟、确保数据安全等。
记录下SGLang 开发,debug的几个技巧第二弹
作者BBuf继上次分享后,又带来SGLang开发、debug新技巧。包括开启多线程加载模型权重,介绍SGLang Serve模型短期和长期崩溃的调试方法,还提及逐层NVTX Profiling、查看固定batch_size下Decoding性能等技巧。
谷歌DeepMind团队新框架:让AI告别每次从头开始,在任务流中越用越聪明
谷歌DeepMind团队联合伊利诺伊大学提出Evo-Memory框架和ReMem架构,改变大模型只能被动检索历史的现状,让智能体实现终身学习。通过基准测试验证其有效性,实验显示ReMem优势明显,还揭示记忆复用关键因素。
200K上下文突破:AI编程新星Augment崛起
AI编程新星Augment以65.4%的SWE - bench评分登顶榜首,估值超128亿美元。它能理解海量代码上下文,支持多环境集成。但新式AI编程工具存在安全风险,如Agent Memory恶意攻击等,文中给出应对建议。
DeepSeek连发两篇论文背后,原来藏着一场学术接力
2026年1月,DeepSeek连发两篇论文,一篇解决信息稳定流动,另一篇聚焦知识高效检索。研究发现其与字节Seed团队存在“接力”,如mHC改进字节Seed的HC,Conditional Memory引用多项工作,梳理关系能助理解论文与架构创新方向。