「状态压缩」共找到 411 篇相关文章
舍弃 VAE，预训练语义编码器能让 Diffusion 走得更远吗？
纽约大学谢赛宁团队、清华&快手 Kling 团队的研究者指出 VAE 制约当前 Diffusion 范式，提出用预训练视觉模型作语义编码器改进。介绍了 VAE 不足及 RAE、SVG 工作如何解决问题，将扩散模型从‘压缩优先’转为‘语义优先’。
Langchain 、 Manus 组了一个研讨会：Agent越智能，死得越快！
Langchain工程师Lance Martin和Manus创始人Peak季逸超研讨Agent，指出Agent越智能死得越快，原因是疯狂调用工具致上下文过大。还介绍解决方案，如压缩与总结不同，Manus做减法架构更优。
小模型推理极限在哪里？微博开源3B小模型，比肩顶级闭源
微博新开源的VibeThinker - 3B小模型，将特定能力维度性能推向极限。它在数学竞赛、编程等可验证推理基准上表现优异，成绩直逼顶尖大模型。其训练流程层层叠加，还提出参数压缩 - 覆盖假说。
DeepMind：Transformer存在拓扑缺陷，思维链治标不治本
谷歌DeepMind论文指出，Transformer架构不擅长追踪状态，思维链只是给结构性缺陷打补丁，成本高。论文主张用循环架构替代或补充纯前馈结构，还提出多个研究方向，认为下一代模型需构建‘流动的现实表示’。
Meta 新成立超级智能实验室，让大模型RAG推理速度飙升30倍
Meta新成立超级智能实验室（MSL），首篇论文REFRAG将RAG推理速度提升30倍以上。它先把上下文压缩成摘要再解码，减少计算量和延迟，在多任务测试中表现出色，为大模型部署提供实用方案。
Agentic AI的第三种范式来了，16家机构提出「伴身智能体」
16家海内外高校与科研机构的22位研究者提出ComBodied Agents新范式，它围绕人的长期状态与主体性构建。论文给出闭环技术框架与评测标准，还提到研究难点与风险，也为产品实践提供指导。
刚刚，DeepSeek 文档更新，Agent 开发者要注意这个字段
DeepSeek在官方API文档给出thinking mode和tool call结合样例，把模型中间思考过程成Agent系统需管理部分。关键字段`reasoning_content`从调试信息成协议流程一部分，影响状态管理、多模型适配等。
0.005%参数量超越SOTA！提升模型能力无需庞大奖励模型
上海交通大学等校联合团队提出轻量级奖励模型SWIFT，利用大模型隐藏状态线性特征，仅训练极小线性层，在推理任务中超越主流奖励模型，实现计算效率与准确率双提升，且在多领域表现出色。
Claude 4.x 的提示工程实战指南
Anthropic在官方文档上线Claude 4.x提示工程指南，针对4.5系列模型优化。介绍基本原则、长期推理和状态跟踪方法、沟通风格，还给出特定场景指导及迁移考虑，助你发挥Claude 4.x实力。
清华新框架让大模型学会「精读略读」！实现12倍端到端加速，基准评分翻倍
清华等团队提出全新框架RAM，受人类阅读认知启发，将“精读+略读”混合策略引入上下文压缩，突破现有方法效率瓶颈，在多任务上表现出色，实现12倍端到端加速，为长上下文LLM部署提供新范式。