搜索：生成式预训练

「生成式预训练」共找到 4011 篇相关文章

语音界Sora！微软刚开源新模型，一次生成90分钟语音、3200倍压缩率

今天凌晨微软研究院开源创新音频模型VibeVoice - 1.5B，有诸多技术突破，如可合成90分钟语音、支持4名发言人、3200倍音频压缩等，还首创双tokenizer协同架构。未来微软还会开源更大参数模型。

清华和IDEA研究人员提出新框架GUAVA，可0.1秒从单图创建上半身3D化身。它解决了现有方法在ID一致性、效率等方面的局限，实验显示其在渲染质量和效率上优于现有2D和3D方法，代码已开源。

AI Agent处理复杂任务时显存、算力问题凸显，MIT和新加坡国立大学联合提出MEM1框架。它基于强化学习，让智能体学会管理记忆，实现近似常量级显存开销，在多方面表现超越大模型。

AI“穿越”新玩法火了，外国网友让ChatGPT根据12岁照片推测23岁样子还挺准。很多人参与，还有新奇玩法。作者用不同名人照片测试ChatGPT、抖音小程序和豆包，结果各有偏差，但玩法有趣。

OpenAI研究员Jason Wei认为AI自我完善是未来趋势，但不会‘瞬间爆发’，而是漫长过程。他从三方面阐述，包括自我完善非一蹴而就、不同领域完善难度有差异、科学进步受真实世界实验限制。

清华刘知远团队论文提出全新数据筛选方案，解决传统数据筛选验证慢、主观性强问题。发明‘半成品加工法’降成本，用fastText筛数据，筛出Ultra - FineWeb数据集，提升模型性能，还计划拓展到专业领域。

Claude近1.7万字系统提示词在GitHub泄露，网友称是提示技术的金矿。大神卡帕西提出系统提示学习新范式，模拟人类经验积累，让LLM有‘记忆’功能，引发网友激烈讨论。

上海交通大学与vivo团队提出全新持续学习框架Octopus，首创无需历史数据的梯度正交化技术。实验显示，它在UCIT基准上表现超SOTA方法，还实现正向后向迁移，适合端侧部署。

快手技术团队在 OneSearch 基础上推出 OneSearch-V2 框架，解决电商搜索复杂查询理解不足等问题。该系统全量上线，不增成本与时延，业务收益显著，还缓解信息茧房与长尾稀疏问题。

大模型层数增多时，残差连接存在PreNorm稀释问题，导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案，还给出工程解法Block AttnRes，实验显示能省算力且提升效果。