「自动压缩」共找到 774 篇相关文章
别再只关注KV Cache了! LLM稀疏性新洞察：为何模型越深越稀疏？UNCOMP从矩阵熵给出答案
团队论文UNCOMP获EMNLP 2025主会接收，它提出高效推理框架，从截断矩阵熵视角解释LLM深层稀疏现象。还能识别关键结构、找到最优压缩策略，设计的UNCOMP框架优化KV Cache，实验效果佳。
谢赛宁新作：VAE退役，RAE当立
谢赛宁团队研究表明VAE时代结束，RAE将接力。RAE是用于扩散Transformer训练的新型自动编码器，能提供高质量重建结果，有语义丰富潜空间，支持可扩展架构，收敛快，在ImageNet图像生成效果强劲。
Anthropic 发布 AI Agent 上下文工程指南
今年6月Andrej Karpathy提出用「上下文工程」取代「提示词工程」。Anthropic发布工程博客呼应此观点，指出构建AI应用重心转向策划上下文。文章详述上下文工程重要性、有效上下文剖析、检索及长时任务应对技术等。
2.3K Star 霸榜GitHub！DeepResearch最佳开源平替！
DeepResearch能递归拆解复杂任务自动生成报告，但OpenAI的相关产品费用高且闭源。霸榜GitHub的ROMA由Sentient AGI团队开发，性能超Grok - 4等，是开源杀手，还介绍了功能、使用方法和应用场景。
Meta最新REFRAG框架引爆RAG圈！KV缓存暴降90%，速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示，它降低KV缓存、加速TTFT，在多任务表现佳，为大模型与知识库结合提供新范式。
训练提速5倍，响应缩短50%：动态自感知能力，重塑高效LLM Reasoning范式
大型语言模型“思维链”技术有冗余，传统优化方案存在静态先验与动态能力错配问题。论文提出的DR.SAF框架赋予模型动态自感知能力，通过三模块协作，实现推理“精准瘦身”，解决根本冲突。
Figma 如何使用 AI 来支持而不是取代设计师
Figma 在设计平台集成 AI，有自动命名层等功能，能将文本提示等转换为生产就绪代码。其 AI 功能基于早期基础设施，关键在于 Dev Mode 和 MCP 服务器，确保设计师掌控输出，降低制作软件障碍。
只需一次指令微调，大模型变身全能专家天团，8B模型性能反超全微调基线 | ACL25 Oral
预训练大模型适应专业领域需高昂微调成本，稀疏混合专家架构虽能提升推理效率，但从头训练耗资源。浙大与Thomson Reuters团队提出SIMoE，单阶段微调就能升级大模型，还解决传统方法两大局限，在性能和效率上双突破。
上下文工程如何重塑智能体的“思考方式”？
文章指出在大模型时代，智能体能否理解上下文是关键。介绍了上下文工程的魔力、从提示词到上下文工程的演进，分析了上下文工程不等同于上下文的原因及常见失败类型，还给出编排设计和常见策略，最后提及用RAGFlow构建私有知识问答应用。
2025 ToC AI产品：仅有3%用户愿意付费，29%的父母每天使用
Menlo Ventures发布《2025年消费级AI现状报告》，基于对5031名美国成年人调研，揭示AI使用图景。如61%美国成年人半年内用过AI，仅3%愿付费；29%父母每日用，是非父母群体1.9倍等，还指出未来六大趋势。