「多任务训练」共找到 6570 篇相关文章
LeCun力荐的JEPA杀入LLM,用CV的思路训练LLM,性能鲁棒性双丰收
LeCun团队提出LLM - JEPA,将JEPA自监督学习架构从视觉扩展到LLM。它能提升性能和鲁棒性,在多模型和数据集验证有效,但有训练开销大、泛化性不足等局限。
1100多个模型殊途同归,指向一个「通用子空间」,柏拉图又赢一回?
约翰斯・霍普金斯大学研究发现,1100多个不同神经网络,即便训练条件不同,最终权重会收敛到共享低维子空间,表明架构比数据影响大。此发现能解释诸多现象,还有多种应用可能,但也有局限性。
AI也能换岗了!Anthropic教智能体交接班,不怕长任务断片
Anthropic设计出长时智能体运行框架,让AI跨越数小时任务渐进式推进。其采用双智能体架构,结合环境管理方法,提升全栈Web应用开发稳定性,但仍有通用与多智能体架构选择等开放问题。
Google研究发现:Multi-Agent的核心竟然是Prompt设计!
Google和剑桥大学研究多智能体系统,发现提示设计影响大,有效拓扑结构占比小。提出Mass框架分三阶段优化,实验用Gemini 1.5 Pro和Flash模型,对比多种方法,在多任务上性能显著提升。
直播预约 | SwS: 强化学习训练能否不依赖外部知识优化模型的弱点?
该论文提出强化学习场景下的启发式数据合成流程(SwS),利用模型自我感知弱点驱动自动化问题生成,弥补推理缺陷。对其扩展后适应性更广,在多基准测试集和模型上验证有效,性能提升显著。
蚂蚁VLDB最佳论文:用一张“逻辑表”驯服3050亿条训练数据
蚂蚁集团论文《OmniTable: A Unified Wide-Table System for Petabyte-Scale LLM Data Curation and Exploration》获VLDB工业赛道最佳论文。其研发的OmniTable系统能管理超35PB、3050亿条以上训练数据,解决数据准备难题,如在SFT任务中大幅缩短周期。
离职特斯拉“隐身”14个月,杨硕创业终于亮牌:重新定义机器人训练范式
杨硕从特斯拉擎天柱团队离职创业一年多后,妙动科技团队带来新论文《DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control》。该团队用视频训练机器人动作,提出DiT4DiT模型,解决VLA模型不懂物理问题,在人形机器人上有新突破。
AI自己写代码做科研还跑赢了前沿算法?清华团队开源Alchemy框架
清华团队开源 Alchemy 框架,它是面向自动化 AI 科研的标准化研究环境,能让 AI Scientist 摆脱工程负担,专注算法创新,还支持多领域、多任务,具有多种特性,在多模态推荐任务中表现出色。
VLM剪枝新SOTA:无需重训练,注意力去偏置超越6大主流方案
常用的attention机制存在位置偏置和padding异常,影响剪枝效果。上海大学曾丹团队提出无需重新训练的attention去偏方法,在多模型、剪枝策略及基准上验证有效,为多模态模型部署提供新思路。
突破后训练瓶颈?Meta超级智能实验室又一力作:CaT解决RL监督难题
AI后训练依赖监督微调或程序化检查器,但很多有价值任务缺这两种资源。Meta超级智能实验室等机构研究者提出CaT方法,把推理时额外计算当教师信号,为大模型提供监督,实验显示效果显著。