「深度学习模型训练」共找到 8589 篇相关文章
社区供稿 | 开源SOTA:阶跃发布端到端语音大模型Step-Audio 2 mini!
阶跃星辰发布最强开源端到端语音大模型 Step - Audio 2 mini,在多个国际基准测试集获 SOTA 成绩。它统一建模语音理解等,率先支持语音原生 Tool Calling 能力,架构创新,案例展示其多方面强大能力。
推荐系统进入「双动力」时代!首篇LLM-RL协同推荐综述深度解析
强化学习是推荐系统主流建模范式,但传统 RL 推荐系统有诸多瓶颈。大语言模型崛起带来新机遇,LLM 与 RL 结合开启新范式。研究团队发布首篇相关综述,提出五大协同范式,总结评估体系,分析挑战与方向。
省下1.25倍算力!Kimi这篇论文,可能改写所有大模型的训练方式
大模型层数增多时,残差连接存在PreNorm稀释问题,导致后面层贡献被稀释。Kimi论文提出Attention Residuals方案,还给出工程解法Block AttnRes,实验显示能省算力且提升效果。
破解空间智能数据稀缺难题,影石开源DiT架构全景生成模型,在线可玩
影石研究院团队推出基于DiT架构的全景图像生成模型DiT360,设计分层混合训练框架,结合透视与全景图像数据,提升真实感和几何一致性。它支持多任务,优于现有方法,为三维场景生成提供新思路。
估值840亿AI实验室再放大招,他们要给大模型戴上「紧箍咒」
新智元报道,OpenAI前CTO创办的Thinking Machines Lab发布研究「模块流形」,将传统数值修正转为「预防式」约束优化。它提出新范式,为训练大模型提供新思路,还介绍了流形优化器及相关算法。
EvaLearn:AI下半场的全新评测范式!
OpenAI研究员指出传统基准测试难衡量AI实际效用。复旦大学与字节跳动等团队提出全新评测范式EvaLearn,以连续问题求解为核心,构建问题并设评分标准,对九个前沿大模型研究有诸多发现。
大模型“记性差一点”反而更聪明!金鱼损失随机剔除token,让AI不再死记硬背
马里兰大学等团队提出金鱼损失法,训练时随机剔除部分token,让模型不逐字记内容,仍学语言规律。实验显示,LLaMA - 2用该方法后记忆内容减少,下游任务性能影响小。
帮大模型提速80%,华为拿出昇腾推理杀手锏FlashComm,三招搞定通算瓶颈
在大模型推理通算难题凸显的背景下,华为数学家祭出 FlashComm。它包含三项技术,分别在 AllReduce 通信、以存换传、多流并行方面优化,解决通信瓶颈,提升推理性能,未来还将围绕多方向创新。
Meta 悄悄开源了两个惊艳的 3D 重建模型,物体重建+人体重建!
前两天AI圈被Gemini 3 Pro刷屏,Meta却悄悄开源了两个“硬核”项目:SAM 3D Objects可从一张照片重建任意物体,SAM 3D Body能从一张照片重建人体网格模型,二者结合可构建完整3D场景,且全部开源、可商用。
字节Seed团队发布循环语言模型Ouro,在预训练阶段直接「思考」,Bengio署名
现代LLM依赖显式文本生成训练“思考”,未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro,将推理能力构建到预训练阶段,实现参数效率提升,还降低了有害性。