搜索：预训练研究 - AI Reading Hub

「预训练研究」共找到 3718 篇相关文章

秋招超强助攻：零基础1小时上手GPT微调！全流程教程免费开源

新一年秋招季，岗位对AI能力要求提升。OpenAI发布新开源大模型GPT - OSS，博主Lorentz Yeung开源本地部署和微调训练GPT - OSS的教程，助零基础者上手，还介绍环境搭建、代码和训练前后效果对比。

一项新研究表明，7B小模型LoopCoder v2在正常计算外多循环一次，就能在SWE - bench Verified基准上大幅提分。继续增加循环次数，性能反而下降。研究还算了‘收益 - 成本’账，给出选择循环次数的诊断方法。

田渊栋团队剖析可验证奖励强化学习（RLVR）训练动态，戳破参数更新稀疏误区，提出三门理论说明其参数更新定位机制，还为RL训练算法设计提供指导，指出SFT时代参数高效微调方法在RLVR中迁移效果差。

蚂蚁正式发布拥有万亿参数的通用语言模型Ling-1T，超越多个开源和闭源模型，在多项复杂推理基准中取得SOTA表现。它推理和代码能力强，研发采用‘中训练+后训练’，还提出新奖励机制和LPO方法。

最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。

第八届GAIR全球人工智能与机器人大会世界模型分论坛上，五位青年学者围绕世界模型展开精彩演讲，话题涵盖通用感知、三维技术等。他们的研究为世界模型领域带来不同启发，目前该领域研究尚处起步阶段，共识未形成。

文章以租赁导购助理“小不懂”为例，介绍Tool Use训练数据合成方案。先分析训练数据的目标与难点，提出动态多智能体对话生成框架，阐述多轮数据、复杂问题合成及过滤方案，展示数据和模型效果，还提及未来工作方向。

IJCAI 2026大会上，秦浩桐给出创新解法，挑战无需重训的“后训练量化”极限，将庞大的LLM强行压缩至极端的1比特与2比特。其团队的BiLLM与SqueezeLLM打破了后训练量化魔咒，还指出极低比特量化的三大挑战。

文章与三位具身智能领域的Z世代年轻人对话，他们有不同背景和经历。谭恒楷研究机器人，提出创新模型和算法；吴铭东专注真机强化学习；王乾旭研究蒸馏特征场。他们对AI有独特认知，展现出年轻人的冲劲和思考。

华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。