「训练范式」共找到 2846 篇相关文章
27M参数战胜GPT-4!脑启发的分层Reasoning引擎如何重塑LLM
当前大语言模型(LLM)核心架构存在根本性缺陷,受大脑分层处理和多时间尺度启发,本文提出仅2700万参数的分层推理模型(HRM),免预训练与CoT标注,单次前向传播解决复杂任务,在ARC - AGI上超越GPT - 4等LLM。
告别多奖励跷跷板:Flow-OPD将多教师OPD带入图像生成
中国科学技术大学等机构团队提出Flow - OPD,这是首个将OPD引入流匹配模型的统一多任务后训练框架。它解决了流匹配模型后训练对齐中多任务的梯度冲突等问题,效果良好,未来有多个拓展方向。
自搜索强化学习SSRL:Agentic RL的Sim2Real时刻
本文由多机构联合完成,引入自搜索强化学习SSRL。它利用结构化prompt和format reward提取模型world knowledge,降低幻觉。还探索Sim2Real有效性,验证SSRL训练模型在真实场景泛化性,且所有训练数据等已开源。
大模型首次打破围棋思维「黑盒」,打通科学发现新路径!上海AI Lab发布新一代InternThinker
上海AI Lab发布新一代书生·思客(InternThinker),它是我国首个具围棋专业水平且能展示透明思维链的大模型。其得益于InternBootcamp训练环境,还在多任务混合训练中现‘涌现时刻’,背后有通专融合底层技术突破。
字节Seed团队发布Seed1.5-VL,用仅20B活跃参数在60个主流测试中狂揽38项第一!
字节Seed团队发布Seed1.5-VL,仅200亿活跃参数就在60个主流测试中获38项第一。介绍其架构、预训练、后训练等情况,评估表现出色,虽处理复杂场景有局限,但仍在多模态任务取得显著进展。
LeCun世界模型:48倍规划速度,单卡就能跑
Yann LeCun团队推出LeWorldModel世界模型,仅靠两条数学规则,让机器几小时学会物理运转逻辑,动作规划速度超同类48倍。它跳出复杂训练修补怪圈,单卡训练,在多环境测试表现出色,还展现对物理法则的深刻理解。
奥特曼和纳德拉,艰难重组后首次对谈:「我们是天作之合!」
奥特曼与纳德拉在OpenAI重组后首次同台,阐释重组幕后并押注从App到Agent的范式迁移与Copilot落地。新协议让OpenAI完成重组,Azure成AI开发者“圣地”,双方合作影响软件范式、人机交互及产业格局。
更高智商更快思考!蚂蚁开源最新万亿语言模型,多项复杂推理SOTA
蚂蚁正式发布拥有万亿参数的通用语言模型Ling-1T,超越多个开源和闭源模型,在多项复杂推理基准中取得SOTA表现。它推理和代码能力强,研发采用‘中训练+后训练’,还提出新奖励机制和LPO方法。
论文精选 | 以AI赋能力学:计算力学的智能化之路与未来图景
中国力学学会旗舰期刊AMS推出“力学前沿”专栏,首期解读“计算力学的智能化之路与未来图景”。文章介绍智能计算力学三大范式、面临挑战,还阐述重塑智能框架前沿方向,指出AI与计算力学融合是系统性重构。
256块NPU训成8B视频模型、超越Sora等一众闭源!抖音内容技术团队开源ContentV
近日,抖音内容技术团队开源ContentV,这是面向视频生成任务的高效训练方案。用256块NPU约4周训成8B参数模型,在多评估维度效果与主流方案相近,还探索了有限算力下训练路径,现推理代码与权重已开放。