「预训练研究」共找到 3695 篇相关文章
连肝12小时！一轮狂刷1500篇论文，写4.2万行代码，AI科学家卷疯科研圈
Kosmos是一款全程无需人类插手的AI科学家，最长能连续工作12小时，平均一次研究读1500篇论文、写4.2万行分析代码，79%研究结果可被人类复现，已在多领域有7个真发现。
从衣服到饰品：OmniTry 实现珠宝、包袋等多类可穿戴物品的虚拟试穿
Kunbyte提出OmniTry，将VTON从服装扩展到任意可穿戴物品，采用无掩码设定。它经两阶段处理流程训练，在12种常见物品类别评估中表现优，有扩展潜力，但也存在训练数据类别限制等局限。
推理能力再突破！蚂蚁 | 提出Agentic Deep Research新范式，可信度同步增加
尽管LLM能力提升，但复杂任务表现受静态知识限制。业界提出Agentic Deep Research系统，现存系统训练有梯度冲突和奖励稀疏问题。蚂蚁团队提出Atom - Searcher，创新推理范式，构建细粒度奖励，结合奖励训练，实验效果佳。
用AI，写代码只会更慢！但一定更「快乐」
METR研究实测发现，GPT等AI编程工具让顶尖程序员写代码平均慢19%，效率不升反降。开发者本预计提效24%，体验后仍觉快20%。研究还分析变慢原因，提醒勿高估AI编程能力。
7B小模型超越DeepSeek-R1：模仿人类教师，弱模型也能教出强推理LLM | Transformer作者团队
Transformer作者之一创立的Sakana AI带来新方法，让教师模型像人类教师一样做启发式教学，根据已知解决方案输出解释。用此方法训练的7B小模型在传授推理技能上比671B的DeepSeek - R1更有效。
腾讯AI Lab首创RL框架Parallel-R1，教大模型学会「并行思维」
腾讯AI Lab等机构研究者首创Parallel - R1框架，通过强化学习让大模型掌握并行思维。它解决了RL训练的冷启动和奖励设计难题，在多数学基准上提升准确率，还揭示模型思维策略变化及并行思维的‘脚手架’作用。
刷新SOTA高出19.05分！英伟达开源OmniVinci全模态理解模型，只用1/6的数据，实现全方位超越
英伟达研究团队发布OmniVinci研究，该全模态理解大语言模型用六分之一训练数据，在全模态理解基准测试成绩超现有顶尖模型19.05分。它靠创新架构和数据策略实现效率与性能双突破。
刚刚！北大校友Lilian Weng最新博客来了：Why We Think
北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算的研究进展，探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略，还提及多种提升生成质量的策略，如并行采样与序列修订，以及强化学习提升推理能力等内容。
长达790年视频镜头，打造原生多模态世界模型！北京智源研究院用Emu3.5统一“世界”
北京智源研究院发布并开源基于原生多模态训练的世界学习者Emu3.5，它将视觉和语言视为同一种数据流，在超13万亿token数据上学习，解决长视野多模态信息处理问题，经多阶段训练和优化，能力强大且已开源。
Agent RL和智能体自我进化的关键一步: TaskCraft实现复杂智能体任务的自动生成
当前智能体训练缺高质量任务数据，主流数据集依赖人工标注，规模和复杂性受限。OPPO 研究院提出 TaskCraft 框架，能自动生成智能体任务，构建并开源含约 41,000 条任务的数据集，支撑智能体训练评估。