「权重收敛」共找到 237 篇相关文章
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
Anthropic CEO：模型可在一亿上下文窗口中学习，且不改变权重，未来AI将每月10万美元
Anthropic CEO Dario Amodei预测几年内将出现月费10万美元、支持1亿词上下文窗口的AI模型。Google Research论文揭示LLM能在不改变权重下，通过「临时便签」机制学习，还介绍了其原理与实验验证。
1100多个模型殊途同归，指向一个「通用子空间」，柏拉图又赢一回？
约翰斯・霍普金斯大学研究发现，1100多个不同神经网络，即便训练条件不同，最终权重会收敛到共享低维子空间，表明架构比数据影响大。此发现能解释诸多现象，还有多种应用可能，但也有局限性。
模型大一统？1100多个模型殊途同归，指向一个「通用子空间」！
约翰斯・霍普金斯大学研究发现，1100多个不同神经网络，即便训练条件不同，最终权重会收敛到共享低维子空间。此研究为神经网络参数空间“通用性”提供严谨实证，虽成因待探索，但意义深远。
为什么堆算力救不了大模型
文章指出大模型和人类大脑归纳规律路径不同，AI追求精确但脆弱的拟合，人追求粗糙但不变的压缩。大模型在可收敛系统表现惊艳，不可收敛系统则崩盘，未来AI产品核心是打造可收敛封闭环境。
agent未来落地的收敛形态
当前agent开发变重，基模优化与agent开发脱钩。后续落地的技术收敛范式是将基模训练和agent开发有机结合，有模型更小、agent更智能、基模深入业务场景带来新想象力等好处。
首个多模态工业信号基座模型FISHER，权重已开源，来自清华&上交等
清华、上交等团队联合发布首个多模态工业信号基座模型 FISHER，用搭积木法对异质工业信号统一建模。技术报告和权重已开源，还提出 RMIS 基准评估性能，实验显示其泛化能力强。
GEAClaw 来了：企业级“OpenClaw”，一只有商业头脑的龙虾
文章指出当前大语言模型解决问题多为收敛式，与商业问题需先发散再收敛的方式相悖。特赞发布企业级智能体系统GEA，其架构四层分工明确，能在市场洞察、社媒增长等场景发挥作用。
JCP | 西北工业大学宋家豪、张伟伟等：FENN：特征增强神经网络求解流体力学领域的偏微分方程
物理信息神经网络（PINNs）求解偏微分方程收敛慢，尤其是流体力学复杂非线性问题。该研究提出特征增强神经网络（FENN），在PINNs输入引入几何和物理特征，提升收敛速度，经正、反及参数化问题验证其有效性。
Lilian Weng：Harness才是模型自我迭代的现实起点和关键，而不是直接重写权重
Thinking Machines Lab联合创始人Lilian Weng发文指出，实现AI递归式自我改进（RSI），设计围绕模型的执行系统“Harness”才是现实起点。文中详述Harness设计模式、优化路径，也指出自我改进面临的瓶颈。