「预训练范式」共找到 2917 篇相关文章
苹果港大终结自回归时代？7B扩散模型发布，AI写代码逻辑彻底颠覆！
苹果联合港大开源扩散大语言模型DiffuCoder，用扩散模型+强化学习策略，性能提升4.4%。研究还提出耦合梯度奖励策略优化方法，建立原生RL训练框架，探究了dLLM的生成机制等问题。
这个推理模型：HRM ，只用2700万参数，超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型HRM，它是全新循环架构，仅2700万参数、1000个训练样本，就在复杂推理任务上表现卓越，还引入近似梯度等方法，有推动通用计算变革潜力。
谷歌杀疯了！全新开源AI编程工具Gemini CL，刚开源1天就斩获26.5K标星！
谷歌推出全新开源AI编程工具Gemini CLI，开源不到24小时获26.5K标星。它将Gemini 2.5 Pro塞进命令行终端，有自然语言驱动等多种能力，免费额度高，可扩展，部署简单。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
更多thinking≠更好结果，精准thinking可砍掉一半长度
当前大模型如GPT - 4、DeepSeek推理又长又啰嗦，论文发现其在简单题目上过度推理。作者提出‘无效思考’概念，还给出解决原则，用LC - R1方法训练，效果显著，揭示精准思考才是王道。
西工大张伟伟团队：大模型时代航空科技的蓝图畅想 | 航空学报CJA
随着国产开源大模型涌现，大语言模型走入生活，挑战传统航空教育，革新科研范式，与航空产业融合推动变革。西工大张伟伟团队探讨其在航空工程教育、科研、行业全链条的影响及挑战。
Meta联合Google新作：语言模型到底“记”了多少东西？
Meta和Google合作的论文探讨现代语言模型对训练数据的“记忆”情况。研究发明新方法精确测量“记忆”量，发现模型记忆有上限且与参数线性相关，还揭示学习转折、隐私规律等重要结论。
陶哲轩转发！DeepMind开源「AI数学证明标准习题集」
DeepMind开源形式化数学猜想库，收录经典数学猜想，还提供代码函数方便形式化表述。此库可作测试基准提升AI数学推理能力，是AI+ATP范式关键前置步骤，团队邀更多人参与丰富内容。
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
阿里开源自主搜索AI Agent，搜论文、网站资讯无所不能
今天凌晨，阿里开源创新自主搜索AI Agent——WebAgent，具备端到端自主信息检索与多步推理能力。还介绍了WebDancer框架从数据构建到训练优化各阶段，助其完成复杂信息检索任务。