「训练数据合成」共找到 3984 篇相关文章
UserBench 与 UserRL 带来的交互智能范式转向
当下大模型在与用户交互时存在不足,来自UIUC与Salesforce的UserBench和UserRL两篇新作,将‘用户价值’量化,把‘可测的交互’转化为‘可训练的策略’,从评测和训练层面推动模型向‘懂用户’转变。
阿里通义发布并行计算新策略:1.6B等效4.4B,内存消耗骤降95%
阿里通义团队提出PARSCALE并行计算新策略,受CFG双路径推理机制启发,将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型,内存占用大降,还可用于现有模型,无需从头训练。
OpenAI 黑科技 Deep Research 诞生记:一个工程师的“不务正业”如何改变 AI 战争格局
OpenAI宣布美国用户可免费使用集成于ChatGPT的AI研究助手Deep Research。OpenAI负责人分享其背后故事,探讨起源、人类专家数据作用等,还提及RFT时机、代理安全性等,并展望其能访问私有数据,适用于具体任务。
LoRA中到底有多少参数冗余?新研究:砍掉95%都能保持高性能
这篇创新研究介绍了LoRI技术,证明即使大幅减少LoRA的可训练参数,模型性能依然强劲。研究团队在多个任务上测试了LoRI,发现仅训练LoRA参数的5%,LoRI就能匹配或超越其他方法的性能。
机器人WAIC现场抢活讲PPT?商汤悟能具身智能平台让机器人「觉醒」
具身智能火爆但面临数据瓶颈等难题。商汤在WAIC推出具身智能平台「悟能」,以世界模型为引擎,有感知、导航、交互等功能,其开悟世界模型能生成多视角视频,为机器人提供数据支持。
用中等难度prompt做高效post training
近年来,RL后训练在LLM发展中至关重要,但传统方法效率低。本文提出PCL轻量级算法,通过动态选中等难度提示提升LLM后训练效率,经多基准实验验证其优越性,也指出方法局限与未来方向。
ACL'25最佳论文解读 | 大模型也会‘弹簧回弹’?揭秘 LLM 对齐的脆弱根源
本文分享 ACL 2025 最佳论文,指出预训练大模型存在‘抗对齐’的 Elasticity 现象,即对齐微调只是暂时拉伸,后续微调会让其迅速弹回预训练分布。研究量化该概念,用‘压缩理论’刻画对齐并实验验证。
最懂英伟达的CoreWeave,为啥突然花钱买了个强化学习作坊?
算力巨头CoreWeave市值达483.9亿美元,收购专攻强化学习训练AI智能体的OpenPipe。CoreWeave想打造全能平台,此前已收购W&B,此次收购标志其涉足智能体核心训练环节。OpenPipe的ART框架有独特优势。
星海图创始人高继扬:具身智能三层技术路线,没有捷径可走
星海图在第一届全球开发者大会上,展示了其在具身智能领域的战略布局。提出100万小时超高质量真实数据计划,发布新一代VLA基础模型G0.5并开源,还联合发布创业孵化项目「星途计划」,探索三段式商业模式。
刚刚,Thinking Machines Lab博客提出在策略蒸馏,Qwen被cue 38次
Thinking Machines Lab发布《在策略蒸馏》博客,提出在策略蒸馏可结合强化学习纠错与SFT奖励密度,成本低且能让小模型有强大性能。该成果受Qwen团队启发,大量用Qwen3模型。还对比了不同训练方法。