「训练数据合成」共找到 3981 篇相关文章
建模世界偏好：偏好建模中的Scaling Laws
研究首次揭示人类偏好建模遵循Scaling Law，从论坛收集数据在Qwen 2.5模型训练，发现测试损失随训练规模指数增长线性下降。提出建模世界偏好，论文和模型已开源，还探讨了偏好建模可扩展性等问题。
从衣服到饰品：OmniTry 实现珠宝、包袋等多类可穿戴物品的虚拟试穿
Kunbyte提出OmniTry，将VTON从服装扩展到任意可穿戴物品，采用无掩码设定。它经两阶段处理流程训练，在12种常见物品类别评估中表现优，有扩展潜力，但也存在训练数据类别限制等局限。
GPT之父把AI扔回1930年：没见过一行代码，却「发明」了Python！
GPT之父Alec Radford带队发布总参数130亿的大模型「talkie」，其训练数据冻结在1930年，没学过编程却能写Python代码，证明LLM可用旧知识推理。团队后续还有升级计划。
没想到，32B清华DeepDive掀翻深度搜索全场的！
文章指出大模型在真实深网搜索场景表现不佳，核心矛盾是缺‘难搜’数据和多轮工具调用 RL。清华 DeepDive 用数据合成造‘难搜’题，端到端多轮 RL 训练，在 BrowseComp 刷新开源记录，迁移能力也强。
读万卷书，大模型就能「看」懂视觉世界？Meta揭秘LLM视觉先验的起源
Meta超级智能实验室与牛津团队新论文发现，只见过文本的大语言模型（LLM）能学到可迁移到视觉任务的先验能力。研究通过超100组受控实验、耗费50万GPU小时，揭开LLM视觉先验来源，还给出预训练数据配方。
香港科技大学、Manycor开源空间大模型，超3000颗星
香港科技大学、Manycore联合开源空间大模型SpatialLM，用于处理3D点云数据。它结合点云特征提取、对齐和语言生成，实现高效转换。研究团队经多种尝试选定基于点的方法及Sonata编码器，还选Qwen2.5 - 0.5B为基础模型。
推理即排序：ReasonRank反常识的2.7倍效率跃迁，新SOTA比快更快
论文提出新型排序模型ReasonRank，将深度推理能力融入排序流程，突破数据瓶颈，采用创新训练框架，效率比主流点对点排序模型快2.7倍，还介绍方法论、技术突破、实验验证等内容，指出局限与未来方向。
一年从3B卷到0.xB：MonkeyOCRv2用0.7B拿下17语种文档解析开源第一
文档OCR正迈入小模型时代，MonkeyOCRv2以0.7B、0.6B参数在MDPBench上超越3B模型。它重新分配系统职责，采用互补预训练目标，还开源训练数据，且迁移到多任务表现良好。
硬核「吵」了30分钟：这场大模型圆桌，把AI行业的分歧说透了
在WAIC 2025大模型论坛的“模型之问”圆桌中，多位行业大佬围绕大模型展开辩论，话题涉及训练范式、模型架构、数据、开闭源等核心问题，不同观点碰撞，深入探讨大模型技术演进与发展之路。
AI 的“思维链”推理是海市蜃楼吗？
亚利桑那州立大学论文《大语言模型的思维链推理是海市蜃楼吗？》认为思维链推理在数据分布偏移时易出错，可能只是对训练数据模式的记忆。作者 Sean Goedecke 认为该论文结论不合理，从推理与语言、模型规模等方面提出反对意见。