「预训练策略」共找到 2839 篇相关文章
阿里智能体多轮推理超越GPT-4o，开源模型也能做Deep Research
通义实验室推出自主信息检索智能体WebDancer，其通过系统化训练范式为构建智能体提供路径，也为在开源模型上复现Deep Research系统提供指导。它在多数据集测试中表现出色，团队还对其未来应用做了展望。
机器人长出800个心眼？阿里达摩院开源具身新大脑，硅谷又坐不住了
2026年具身智能竞争激烈，阿里达摩院开源RynnBrain“具身大脑”。它采用分层架构，在16项评测中超越前沿模型。还介绍了核心技术、训练策略等，且全系列模型、评测基准和代码均开源。
用更一致的轨迹、更少的解码步数「驯服」掩码扩散语言模型，扩散语言模型的推理性能和效率大幅提升
扩散大语言模型发展迅猛，或成下一代大语言模型基础范式有力竞争者。复旦大学等团队发布论文，提出高效解码策略与强化学习训练组合，解决MDLM解码和训练问题，提升推理性能与效率。
人大-清华-腾讯发布：音频 - 视觉多模态任务统一框架
人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。
“AI大神”李沐终于开源新模型，爆肝6个月，上线迅速斩获3.6k stars！
7月23日，“AI大神”李沐开源音频基础模型Higgs Audio v2，构建于Llama - 3.2 - 3B之上，预训练数据丰富。该模型在多个测评中成绩领先，有多种能力，李沐介绍其技术及训练方法。
LLM加RL遭质疑：故意用错奖励，数学基准也显著提升，AI圈炸了
华盛顿大学等机构论文引爆AI界，其发现用虚假奖励训练Qwen2.5-Math-7B模型，也能提高MATH - 500成绩。虚假奖励对Qwen模型有效，但在其他模型上有限，凸显RLVR有效性与模型能力有关。
伯克利最强代码Agent屠榜SWE-Bench！用Scaling RL打造，配方全公开
开源软件工程模型DeepSWE横空出世，基于Qwen3 - 32B，仅用强化学习训练，以59%准确率刷新SOTA。它采用rLLM框架、R2E - Gym环境，用改良GRPO++算法，还介绍了评估策略及训练挑战的解决办法。
刚刚，国产AI自己造了AI，全球首例！
面壁智能实现全球首例国产AI造AI，用AI编写预训练框架ForgeTrain，性能超英伟达Megatron，还训练出MiniCPM5 - 1B模型。该模型可作桌宠，小尺寸高智能，还能自定义人格，提供工具链。
Kimi K2技术报告正式发布：“保姆级”深度解析，一文读懂万亿参数智能体的所有秘密
Kimi K2技术报告发布，Moonshot团队用万亿+参数稀疏MoE架构等打造接近Claude - Opus的通用大模型。围绕训练稳定性等改进，有预训练、架构设计等多方面创新，为智能体领域提供可行路径。
社区供稿丨以小博大！Nanbeige4-3B重磅开源：硬刚Qwen3，挑战小模型能力新高度
近年来大语言模型发展陷入‘参数军备竞赛’，成本高昂。Boss直聘南北阁实验室发布Nanbeige4 - 3B，仅30亿参数，在预训练和后训练阶段采用多种创新技术，在多方面媲美甚至超越大模型。