「训练提速」共找到 2221 篇相关文章
刚刚,DeepSeek首曝V3降成本秘诀!软硬协同突破Scaling天花板
DeepSeek最新论文从硬件架构和模型设计双重视角,探讨如何相互配合实现低成本大规模训练和推理,分析硬件特性对架构选择的影响,研究两者相互依赖关系,还为未来协同设计提出建议。
ICML 2025 | 如何在合成文本数据时避免模型崩溃?
随着生成式AI发展,合成数据成大模型训练重要部分,但可能引发“模型崩溃”。ICML 2025会议上,上交大等团队剖析此问题,提出Token - Level Editing策略,避免模型崩溃,实验验证了其有效性。
为什么今天造大模型的人,一半在学物理
文章指出在AI前沿,不少定义方向的人出身物理。物理训练赋予的品味与做AI的方法论高度重合,体现在统计力学与神经网络、对普适规律的信仰等方面,还提到Scaling Laws最能体现这种品味。
蚂蚁集团扩散大语言模型新突破:超800Token/s,速度与质量兼得
蚂蚁集团将LLaDA更新到2.1,通过引入“草稿 - 编辑”机制,打破扩散模型推理速度与质量的对立僵局。它有极速和质量两种模式,还采用混合训练流程及强化学习,在多基准测试中表现出色。
蚂蚁具身智能明牌了:做大脑,和宇树们错位竞争
蚂蚁灵波开源具身智能基座模型LingBot-VLA,用20000小时真实世界数据训练,解锁最大规模开源真机数据之一。它性能超国际顶尖模型,还指明通用具身智能发展路径,为行业提供全栈解决方案。
AI招聘逆天研究:看照片预测一生职业成就
硅谷大厂HR标配的AI招聘系统Eightfold AI被指控算法歧视,求职者要求提高招聘筛选透明度。同时,美国多所高校研究者完成一项研究,AI能通过人脸照片预测职业走向,但因训练数据问题引发公平性争议。
瘦身不降智!大模型训推效率提升30%,京东大模型开发计算研究登Nature旗下期刊
京东探索研究院大模型研究登Nature旗下期刊。其提出系统与方法,经四大创新使大模型推理提效30%、训练成本降70%。成果支撑JoyBuild平台,可帮企业将通用模型转化为专业模型,加速商业化落地。
刚被马斯克收购,Cursor掏出新模型:10万卡加持,和Opus、GPT一样大
本周二,刚被SpaceX收购的Cursor在首届旗舰大会宣布新的1.5万亿+参数模型,在超10万块GPU预训练。Cursor CEO称其规模与Opus、GPT相当,还谈了对其他AI实验室看法,新模型将几周内发布。
华为盘古首次露出,昇腾原生72B MoE架构,SuperCLUE千亿内模型并列国内第一
当前传统 MoE 有专家激活不均衡问题,华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练,推理性能强,在 SuperCLUE 榜单千亿内模型并列国内第一,赋能业务落地。
让AI看懂科研图表:深势科技开源150万高质量科研图文数据集
深势科技开源OmniScience数据集,含150万个高质量图文对。它利用先进工具攻克图文提取难题,经严格筛选成型,涵盖多学科。还设计重写流水线提升图文语义契合度,基于此训练的模型表现优异。