「预训练范式」共找到 2901 篇相关文章
自搜索强化学习SSRL：Agentic RL的Sim2Real时刻
本文由多机构联合完成，引入自搜索强化学习SSRL。它利用结构化prompt和format reward提取模型world knowledge，降低幻觉。还探索Sim2Real有效性，验证SSRL训练模型在真实场景泛化性，且所有训练数据等已开源。
大模型首次打破围棋思维「黑盒」，打通科学发现新路径！上海AI Lab发布新一代InternThinker
上海AI Lab发布新一代书生·思客（InternThinker），它是我国首个具围棋专业水平且能展示透明思维链的大模型。其得益于InternBootcamp训练环境，还在多任务混合训练中现‘涌现时刻’，背后有通专融合底层技术突破。
LeCun世界模型：48倍规划速度，单卡就能跑
Yann LeCun团队推出LeWorldModel世界模型，仅靠两条数学规则，让机器几小时学会物理运转逻辑，动作规划速度超同类48倍。它跳出复杂训练修补怪圈，单卡训练，在多环境测试表现出色，还展现对物理法则的深刻理解。
奥特曼和纳德拉，艰难重组后首次对谈：「我们是天作之合！」
奥特曼与纳德拉在OpenAI重组后首次同台，阐释重组幕后并押注从App到Agent的范式迁移与Copilot落地。新协议让OpenAI完成重组，Azure成AI开发者“圣地”，双方合作影响软件范式、人机交互及产业格局。
The Batch: 931 | 统一视觉媒体的单一分词器
Apple团队开发多维分词器AToken，可将图像、视频、3D对象映射到共享token空间，统一处理视觉媒体。它由预训练编码器和解码器组成，经多阶段训练，在多任务上达或接近先进水平，为视觉模型带来通用性。
吴恩达关注的Ling-1T背后，蚂蚁Ling 2.0技术报告解密万亿模型开源配方
AI导师吴恩达关注蚂蚁开源模型Ling-1T，其性能直逼闭源模型。蚂蚁集团通过《Ling 2.0 Technical Report》揭示技术配方，从架构、预训练、后训练对齐和基础设施四个层面构建推理模型，还分享失败教训，提供开源SOP。
更高智商更快思考！蚂蚁开源最新万亿语言模型，多项复杂推理SOTA
蚂蚁正式发布拥有万亿参数的通用语言模型Ling-1T，超越多个开源和闭源模型，在多项复杂推理基准中取得SOTA表现。它推理和代码能力强，研发采用‘中训练+后训练’，还提出新奖励机制和LPO方法。
论文精选 | 以AI赋能力学：计算力学的智能化之路与未来图景
中国力学学会旗舰期刊AMS推出“力学前沿”专栏，首期解读“计算力学的智能化之路与未来图景”。文章介绍智能计算力学三大范式、面临挑战，还阐述重塑智能框架前沿方向，指出AI与计算力学融合是系统性重构。
256块NPU训成8B视频模型、超越Sora等一众闭源！抖音内容技术团队开源ContentV
近日，抖音内容技术团队开源ContentV，这是面向视频生成任务的高效训练方案。用256块NPU约4周训成8B参数模型，在多评估维度效果与主流方案相近，还探索了有限算力下训练路径，现推理代码与权重已开放。
SOTA级的Embedding模型！F2LLM模型、数据、代码全部开源，人人可用
Embedding 模型应用广泛，但主流模型训练困难。蚂蚁集团与上海交大推出 F2LLM，含 0.6B、1.7B、4B 系列模型，仅用六百万数据微调基座，在 MTEB 榜单领先且完全开源。介绍了其数据、训练、测评等情况。