「预训练范式」共找到 2901 篇相关文章
机器人的「GPT时刻」来了？丰田研究院悄悄做了一场最严谨的VLA验证实验
丰田研究院（TRI）团队研究大型行为模型（LBM），在近1700小时机器人数据上训练并大量部署评估。发现LBM性能提升显著，预训练小数据量也能带来增益，预示机器人通用大模型或到来。
27M参数战胜GPT-4！脑启发的分层Reasoning引擎如何重塑LLM
当前大语言模型（LLM）核心架构存在根本性缺陷，受大脑分层处理和多时间尺度启发，本文提出仅2700万参数的分层推理模型（HRM），免预训练与CoT标注，单次前向传播解决复杂任务，在ARC - AGI上超越GPT - 4等LLM。
Qwen3技术报告首次全公开！“混合推理模型”是这样炼成的
本文首次公开Qwen3技术报告，介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式，引入思考预算机制，降低轻量级模型计算资源，在多基准测试领先，多语言支持扩展至119种，所有模型开源。
Reasoning模型在RL下的探索欲望急速下降问题：探索熵机制
论文研究发现大模型经强化学习训练解题时，会出现模型探索欲望急速下降的熵崩溃现象，如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源，提出破解方法，研究对AI训练范式变革有重要意义。
AutoDev 预上下文引擎：预生成代码语义化信息，构建 AI 编程的知识基座
文章介绍 AutoDev 预上下文引擎，指出向量化代码检索性价比低，提出用预生成上下文提升 RAG 效果。Context Worker 能深度解析代码，支持多语言，使用简单，还可结合 MCP 服务获取上下文知识。
半年复盘，AI迎来预训练后的新瓶颈。
2025年上半年AI领域发展加速，编码和多模态能力提升。但模型在综合能力上遇到第二轮瓶颈，编码能力强时通用认知能力‘拉胯’，或与RL阶段使用编程数据有关，红杉新基准或推动模型均衡发展。
范式跃迁：LLM + EC重构算法设计范式，华为&港城大夺冠CVRP国际顶级赛事
近日，华为与港城大联合团队‘OptVerse - CityU’在CVRPLib BKS全球挑战赛夺冠。他们用‘大模型(LLM)+进化计算(EC)’架构，刷新98个历史最优解，51个设新纪录，验证AI在算法设计潜能。
Thinking with Video：一种全新的思考范式
在人工智能领域，‘用文本思考’和‘用图像思考’存在局限。复旦大学等团队提出‘用视频思考’范式，通过视频生成模型统一文本与视觉推理，构建VideoThinkBench基准测试Sora - 2，全面解读这一开创性工作。
Agent+Code，打开AI开发新范式
当下企业级AI叙事逻辑转变，传统AI应用有瓶颈。京东云在JDD 2025大会提出“深度应用”理念，推出“Agent+Code”新范式，其包含JoyAgent 3.0和JoyCode 2.0，还通过开源引领行业创新。
The Batch: 869 | 编码助手的训练数据
研究人员开发自动生成编码助手训练数据的流程。斯坦福等高校及阿里团队提出 SWE - smith 方法，从 128 个 Python 仓库入手合成漏洞、验证并生成修复样本，成果免费开放，有望改进 AI 辅助编程模型。