「预训练框架」共找到 3486 篇相关文章
Soul App 又放大招！把 42000 小时数据喂出的“歌神” SoulX-Singer 开源了！
语音合成近年爆发式增长，开源领域也有强大音乐模型。Soul APP联合多机构开源的SoulX - Singer，喂了42000小时数据，主打零样本歌声合成，支持双控制方式，多语言与跨语言能力强，架构先进，评测表现优。
拒绝计算“一视同仁”！Elastic Attention：让大模型学会“看人下菜碟”
现代大语言模型用全注意力机制计算复杂度高，现有混合注意力策略是静态的。为此提出Elastic Attention，引入轻量级Attention Router，具备动态路由等亮点，在主流模型测试中效果好。
卢宗青团队新作：人类先验打底，统一动作对齐，通用机器人模型正在落地
机器人行业核心问题是让机器在真实世界稳定行动。卢宗青团队论文《Being - H0.5: Scaling Human - Centric Robot Learning for Cross - Embodiment Generalization》给出通用操控路线，系统性解决多形态平台部署问题。
Anthropic：大模型开始意识到自己在想什么！
Anthropic的Jack Lindsey论文《Emergent Introspective Awareness in Large Language Models》对大模型做神经科学受控实验。发现Claude Opus 4/4.1能感知内部念头，区分内外状态，通过检查内部状态一致性判断输出意图。
微软：DeepSeek-R1等推理模型循环的原因找到了
前几天，DeepSeek - R1论文更新，披露诸多细节。重点是推理模型在低温/贪心解码下易循环，根源是学得不对，如风险规避式复读、时序相关错误复读，还给出解决方案。
389万寻找翁荔继任者！OpenAI紧急开招安全防范负责人
OpenAI在连遭安全指控后，豪掷约389万元+股权急招安全防范负责人，要制定执行安全防范框架。此前其安全团队负责人更迭频繁，此次招聘是否‘应激之举’待商榷。
综述解读：Memory in the Age of AI Agents
文章围绕《Memory in the Age of AI Agents》展开，指出传统方案难解决Agent长期智能问题，Agent Memory是关键。介绍其形式、功能、动态机制，分析挑战并预测未来方向，为设计记忆系统提供指南。
谢赛宁REPA得到大幅改进，只需不到4行代码
Adobe Research等团队对REPA展开研究，发现驱动目标表征生成性能的是空间结构而非全局性能。基于此构建iREPA，代码不到4行，能提升REPA收敛速度，在多方面表现出色。
Google 开源 InkSight，把手写笔记直接变成可编辑数字笔记！
Google 开源 InkSight，能将手写照片转为数字墨迹，与传统 OCR 不同，它可「还原书写方式」。具备离线转在线、多语言支持等功能，核心是「阅读 + 书写」双重训练，有两种使用模式。
从代码基座模型到智能体与应用：代码智能的全面综述与实践指南
北航、阿里等机构联合发布论文，系统梳理 2021 - 2025 年代码大模型发展。介绍代码基座模型、评测任务、对齐技术等，还提及软件工程智能体、安全防御及训练指南，预言未来编程走向。