「权重重建」共找到 309 篇相关文章
Lilian Weng:Harness才是模型自我迭代的现实起点和关键,而不是直接重写权重
Thinking Machines Lab联合创始人Lilian Weng发文指出,实现AI递归式自我改进(RSI),设计围绕模型的执行系统“Harness”才是现实起点。文中详述Harness设计模式、优化路径,也指出自我改进面临的瓶颈。
OpenAI突然开源新模型!99.9%的权重是0,新稀疏性方法代替MoE
OpenAI悄悄开源新模型,0.4B参数且99.9%权重为零,是Circuit Sparsity技术的开源实现。该技术通过约束模型内部连接稀疏性,解决传统稠密Transformer黑箱问题,或让MoE模型走上末路,但目前算力成本极高。
0人工参与实现梯度更新!MIT新框架让AI自动生成微调数据,权重自主升级
MIT提出新强化学习框架SEAL,可让模型生成微调数据和自我更新指令,实现权重更新。无需人工,模型能自动梯度更新。经知识注入和小样本学习实验验证效果,还介绍了其双循环工作机制。
突破三维感知瓶颈:魔芯科技发布VGGT系列成果,实现动态高保真重建并获新一轮融资
魔芯科技联合同济大学等团队,基于 VGGT 架构发布四项成果,突破三维感知在流式处理、动态鲁棒性和精细感知上的瓶颈。还获新一轮融资,后续将加大对空间智能与世界模型技术投入。
李飞飞团队发布新一代世界模型Atlas:从零训练,一次性打通视频生成、 3D重建与机器人仿真
李飞飞创办的 World Labs 发布新一代世界模型 Atlas,称其为‘全球首个多模态世界模型’。它从零训练,能同时完成视频生成、3D 重建和时空模拟,已向少数伙伴开放测试,未来将成 Marble 底层模型。
4D空间智能:AI如何一步步「看懂」时空结构?一篇综述解析通往四维世界的五大层次
4D空间智能重建整合静态场景与时空变化,构建含时间维度的空间表征系统。南洋理工等高校研究者调研该领域,提出按建构深度分五层的新视角,展现AI认知从基础到高阶的进化路径。
LLM的RL训练轨迹竟然是线性的?Miaow Lab|新工作:无需继续训练,直接“预测”未来模型!
文章介绍《Not All Steps are Informative: On the Linearity of LLMs' RLVR Training》,揭示RLVR训练中LLM权重和输出概率线性变化,提出“权重外推”法,可实现6.1倍训练加速,还介绍三种策略及实验结果。
SIGGRAPH Asia 2025:摩尔线程赢图形顶会3DGS挑战赛大奖,自研LiteGS全面开源
12月17日,在SIGGRAPH Asia 2025上,摩尔线程凭自研LiteGS获3DGS重建挑战赛银奖。3DGS是下一代图形渲染技术,有巨大潜力但训练耗时久。摩尔线程开源LiteGS,实现全链路协同优化。
大模型能复刻这些系统吗?ProgramBench给出了残酷答案
斯坦福NLP组发布ProgramBench,用200个完整代码库重建任务测试主流大模型,要求模型仅根据可执行文件还原如SQLite等项目完整代码,结果所有模型实际解决率为0%,说明模型更擅模仿代码表面结构。
黄仁勋倡议的开源联名信,Anthropic 为何不愿签名?
黄仁勋分享支持开放权重模型的联名信,NVIDIA、Google等公司联署,Anthropic缺席遭网友讨伐。Anthropic研究人员回应引争议,这场讨论或存在错位,分歧关键在于发布前评测能否支持模型权重长期外授。