「层级权重共享」共找到 361 篇相关文章
视频生成一长就漂移竟是前序帧「太干净」惹的祸!研究揭示共享噪声水平才是长视频稳定关键
自回归视频生成模型存在训推不一致导致的误差累积问题,使生成视频越往后越易出现时序漂移和画面崩坏。HiAR团队推出HiAR,通过共享噪声水平减少误差传递,还解决了动作僵化问题,实现分钟级无退化生成。
入选 SOSP'25:百度智能云对象存储的分布式层级 Namespace 破解业界难题,彻底扫清 AI 时代大数据上云障碍
百度沧海・存储团队与高校合作的论文被 SOSP'25 录用,介绍了百度智能云对象存储 BOS 的分布式层级 Namespace 系统 Mantle。它攻克业界难题,融合文件和对象存储优势,性能卓越,已在 BOS 生产环境大规模上线超两年。
1100多个模型殊途同归,指向一个「通用子空间」,柏拉图又赢一回?
约翰斯・霍普金斯大学研究发现,1100多个不同神经网络,即便训练条件不同,最终权重会收敛到共享低维子空间,表明架构比数据影响大。此发现能解释诸多现象,还有多种应用可能,但也有局限性。
模型大一统?1100多个模型殊途同归,指向一个「通用子空间」!
约翰斯・霍普金斯大学研究发现,1100多个不同神经网络,即便训练条件不同,最终权重会收敛到共享低维子空间。此研究为神经网络参数空间“通用性”提供严谨实证,虽成因待探索,但意义深远。
使用 Hugging Face 轻松构建并共享 ROCm 内核
自定义内核是高性能深度学习基础,但构建整合麻烦。Hugging Face的kernel - builder和kernels库可助轻松构建、分享自定义内核。本文聚焦构建ROCm兼容内核,展示构建、测试与分享步骤。
多模型共享 GPU 内存,Berkeley 开源新工具
GPU内存利用率低是大模型部署痛点,伯克利Sky Computing Lab团队开源kvcached工具,通过虚拟化技术让多模型共享显存。它引入虚拟内存概念,按需分配,测试显示能提升效率,安装简单、兼容性好。
首个多模态工业信号基座模型FISHER,权重已开源,来自清华&上交等
清华、上交等团队联合发布首个多模态工业信号基座模型 FISHER,用搭积木法对异质工业信号统一建模。技术报告和权重已开源,还提出 RMIS 基准评估性能,实验显示其泛化能力强。
超 2 万人收藏!配一次 MCP,Claude Code 和 Cursor 都能用!这个开源项目火了!
OpenWork是开源AI编程工作区平台,是Claude Cowork开源替代品。它能让不同AI Agent共享技能等,有跨工具工作流共享、可视化审计等亮点,还给出四种快速上手方法。
Lilian Weng:Harness才是模型自我迭代的现实起点和关键,而不是直接重写权重
Thinking Machines Lab联合创始人Lilian Weng发文指出,实现AI递归式自我改进(RSI),设计围绕模型的执行系统“Harness”才是现实起点。文中详述Harness设计模式、优化路径,也指出自我改进面临的瓶颈。
OpenAI突然开源新模型!99.9%的权重是0,新稀疏性方法代替MoE
OpenAI悄悄开源新模型,0.4B参数且99.9%权重为零,是Circuit Sparsity技术的开源实现。该技术通过约束模型内部连接稀疏性,解决传统稠密Transformer黑箱问题,或让MoE模型走上末路,但目前算力成本极高。