「预训练框架」共找到 3469 篇相关文章
首创Mid-training范式破解RL奥秘，Llama终于追平Qwen！
上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异，提出中期训练策略，将 Llama 改造成适配 RL 的推理基础模型，缩小与 Qwen 性能差距，还发布了 MegaMath-Web-Pro-Max 数据集。
大模型推理也能“智能调度”：让奖励模型按需分配算力的动态路由机制 | ACL 2026
生成式奖励模型（GRM）推理策略存在算力浪费问题。腾讯混元与新南威尔士大学联合提出 E - GRM 框架，将模型不确定性定义为调度信号，按需推理。文章从多维度解读该框架，并展示实验评估结果。
The Batch: 931 | 统一视觉媒体的单一分词器
Apple团队开发多维分词器AToken，可将图像、视频、3D对象映射到共享token空间，统一处理视觉媒体。它由预训练编码器和解码器组成，经多阶段训练，在多任务上达或接近先进水平，为视觉模型带来通用性。
吴恩达关注的Ling-1T背后，蚂蚁Ling 2.0技术报告解密万亿模型开源配方
AI导师吴恩达关注蚂蚁开源模型Ling-1T，其性能直逼闭源模型。蚂蚁集团通过《Ling 2.0 Technical Report》揭示技术配方，从架构、预训练、后训练对齐和基础设施四个层面构建推理模型，还分享失败教训，提供开源SOP。
为大模型思考装上“猎鹰重装引擎” ：腾讯混元 SEAT 重塑深度思考
本文深度解析腾讯混元最新发布的 SEAT 自适应并行扩展推理框架。它让大模型 CoT 升级，应对复杂推理任务。该框架通过多轮并行推理和语义熵导航，解决大模型深度思考的局限，且适配多种大模型，性价比高。
如何让AI帮你做前端自动化测试？我们这样落地了
本文介绍阿里基于AI的UI自动化测试框架在专有云质量保障的实践。框架用开源browser - use等工具，采用自然语言驱动用例、动态元素定位等机制，还应对了大模型幻觉等挑战，也提及构建企业级数据分析Agent方案。
256块NPU训成8B视频模型、超越Sora等一众闭源！抖音内容技术团队开源ContentV
近日，抖音内容技术团队开源ContentV，这是面向视频生成任务的高效训练方案。用256块NPU约4周训成8B参数模型，在多评估维度效果与主流方案相近，还探索了有限算力下训练路径，现推理代码与权重已开放。
SOTA级的Embedding模型！F2LLM模型、数据、代码全部开源，人人可用
Embedding 模型应用广泛，但主流模型训练困难。蚂蚁集团与上海交大推出 F2LLM，含 0.6B、1.7B、4B 系列模型，仅用六百万数据微调基座，在 MTEB 榜单领先且完全开源。介绍了其数据、训练、测评等情况。
Reasoning模型可以Self-Train！
当前大模型依赖人类标注数据，成本高且扩展难。论文探讨模型自我纠错、自主进化可能，提出自我奖励训练（SRT），用投票共识代替人类标注。在数学数据集上有效果，但高难度数据集出现问题，作者给出解决办法并开源代码。
Agent 自我改进的六条路
文章梳理了让 AI Agent 不重新训练就能变强的六种机制，包括输出自审、持久记忆、进化搜索、对抗训练、自我修改和编排自优化，介绍了各机制代表项目及成果，指出 AI 学习正从训练溢出到部署阶段。