「低秩适应」共找到 1118 篇相关文章
1100多个模型殊途同归,指向一个「通用子空间」,柏拉图又赢一回?
约翰斯・霍普金斯大学研究发现,1100多个不同神经网络,即便训练条件不同,最终权重会收敛到共享低维子空间,表明架构比数据影响大。此发现能解释诸多现象,还有多种应用可能,但也有局限性。
为MoE解绑:全新「专家即服务」推理架构发布,超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长,MoE架构虽能避免计算量同比增,但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS,实验显示它能锐减37.5%成本。
GPT-6最大的升级,是每天送你一张免费重置卡。
GPT - 6刷屏,虽不能马上给用户用,但跑分碾压,似被fable5.1逼出。重置义父想出每天送一张重置卡的补偿办法,口碑反转。OpenAI还更新订阅额度限制,token变贵,很多公司开始适应峰谷定价。
解码加速15倍!EdgeRazor助推大模型在PC/移动端“狂飙”
大语言模型参数膨胀,端侧部署难,量化成主流轻量化方案。开源工具库EdgeRazor由南京大学和微软联合推出,采用MPQAD打破极低比特大语言模型“能力塌陷”,在性能、效率、易用性等方面表现出色,打通AI全生态链路。
OpenAI突然发布Sora 2:好一个“AI版抖音”!
OpenAI重磅上新,带来依托Sora 2的“AI版抖音”——Sora iOS APP。Sora 2是音视频同步生成模型,更遵循物理定律、可控性强,还能注入现实元素。实测效果佳但画质低,Pro版可改善,后续还会发布API。
能让DeepSeek自进化的Harness!LlamaFactory作者开源新工具:0.2元自动造Agent
LlamaFactory作者郑耀威团队开源的PenguinHarness,是全球首个支持多Agent自进化的Harness,能自动构建、评测和改进Agent。它成本低、速度快,适配众多模型,还有严格契约保障安全。已在生产场景应用,效果显著。
本地可运行的高质量的文本转语音模型
介绍Kyutai的Pocket TTS,一款轻量级文本转语音应用,可在CPU高效运行,模型小且低延迟,支持Python API和CLI,能语音克隆,还可在浏览器试用,目前仅支持英语,也有社区浏览器端实现。
和快手聊了之后才知道,传统搜索早变天了
文章从工程师视角剖析现代搜索,指出传统搜索难适应多模态内容世界。快手推出 UniDex 和 UniSearch,前者变革搜索倒排,后者为统一生成式搜索架构,二者成快手新一代工业搜索‘双引擎’,有广阔应用前景。
OpenAI 发布GDPval,可真实评估现实世界经济价值。Claude Opus 4.1 拿下第一
OpenAI推出GDPval,可评估AI在真实经济价值任务上的表现。它从9个行业选44种职业,设1320个真实任务。Claude Opus 4.1表现最佳,前沿模型速度快、成本低。OpenAI计划扩展GDPval,还开源部分内容。
监督学习未死,一题训练五小时起飞!华人学者新方法20倍训练效率释放大模型推理能力
大模型推理能力研究中,RL训练资源成本高、不稳定,传统SFT低数据量易过拟合。加拿大滑铁卢大学华人团队提出One - Shot CFT方法,用一题多解多点评训练,仅需约5个GPU小时,效果好、稳定性强。