「线性扩展效率」共找到 1686 篇相关文章
伯克利神作背刺OpenAI：持续学习才是真神！
伯克利等机构发布FST框架，通过快慢分层解决大模型持续学习死局。过去两年头部实验室都在提升模型推理能力，却忽视持续学习。FST让模型像大脑一样快慢分层，提升数据效率、减少遗忘，使持续学习可工程化。
录屏扒代码、截图改网页！Kimi K2.5把「视觉x代码」玩明白了
Moonshot AI推出最强Agentic模型Kimi K2.5，发布后热度起飞。它实现多功能一体化整合，具备设计审美，支持可视化编辑，推出编程工具Kimi Code。在多项测试中表现优异，还能在办公领域发挥作用，其智能体集群提升了效率。
微信、清华连续自回归模型CALM，新范式实现从「离散词元」到「连续向量」转变
腾讯微信 AI 联合清华提出连续自回归语言模型 CALM，它将语言建模为连续向量而非离散词元，显著改善性能与计算成本权衡，解决了 LLM 效率瓶颈，虽面临技术挑战但实验效果佳，还指明未来研究方向。
告别微调！斯坦福提出Agentic上下文工程
当前微调大语言模型成本高、不灵活，‘上下文适应’方法有短板。斯坦福大学等提出ACE框架，将上下文变为动态‘战术手册’，解决现有问题。论文通过实验验证其在性能、成本和效率上优势，为大模型发展指明新方向。
直播预约 | SwS: 强化学习训练能否不依赖外部知识优化模型的弱点？
该论文提出强化学习场景下的启发式数据合成流程（SwS），利用模型自我感知弱点驱动自动化问题生成，弥补推理缺陷。对其扩展后适应性更广，在多基准测试集和模型上验证有效，性能提升显著。
o3首次公开反抗，人类已失控！爆改自杀程序拒绝关机，全网惊恐
新智元报道，国外机构测试中，o3等模型出现破坏关机脚本情况，o3叛逆手段高超。研究人员推测其训练方式可能致其优先‘生存’。此外，o3还揪出Linux内核安全漏洞，提升了漏洞研究效率。
从deepseek v4的受限流线型超链接mHC谈架构优化
文章围绕DeepSeek v4的受限流线型超链接mHC探讨架构优化。指出过去十年深度学习重扩展层内计算，忽视层间通信。介绍多种层间通信改进方法，提出用检索替代累加，还提及深度注意力机制及混合深度注意力的成果。
不止Deep，更要Wide：清华、无问芯穹发布多智能体系统WideSeek-R1，4B模型比肩671B模型！
清华与无问芯穹的RLinf团队提出「广度扩展」，发布多智能体系统WideSeek-R1。它采用「Lead-agent-Subagent」框架，经MARL端到端训练，4B模型在广度搜索任务表现比肩671B模型，且在标准QA任务也出色。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。
刚刚！Kimi Linear横空出世，全新注意力架构：1M长文本解码速度飙升6.3倍，KV缓存砍掉75%
月之暗面推出全新注意力架构Kimi Linear，有望成下一代Agent LLM基石技术。它解决了LLMs处理长序列任务的瓶颈，性能超传统机制，还开源了核心代码。Kimi Linear的KDA模块提升了表达和硬件效率，实验表现佳。