「联邦学习算法」共找到 1822 篇相关文章
大模型如何泛化出多智能体推理能力?清华提出策略游戏自博弈方案MARSHAL
近日,清华大学等机构研究团队提出 MARSHAL 框架,利用强化学习让大模型在策略游戏自博弈。实验表明,多轮、多智能体训练提升了模型博弈决策水平,将推理能力泛化到通用多智能体系统,在一般推理任务表现显著提升。
苹果高级副总裁下岗!AI大败局,靠血洗AI团队解决?
刚进入12月,掌管苹果AI与机器学习战略七年的高级副总裁约翰·詹南德里亚卸任。苹果AI乏力非其一人之过,是谷歌流派与苹果文化冲突所致。此次人事调整后,AI回归软件工程本位,不过人才流失成新挑战。
Nature公开谷歌IMO金牌模型技术细节!核心团队仅10人,一年给AI编出8000万道数学题训练
谷歌DeepMind的IMO金牌模型AlphaProof技术细节公开。团队规模小,核心成员是IMO金牌得主。它把数学证明当游戏,用30亿参数模型和改进树搜索算法。训练难题靠自动形式化解决,赛场用TTRL突破,已开放使用。
AI领域全新热门职业,岗位需求今年已增长逾800%
在AI技术飞速发展当下,「驻场交付工程师」(FDE)成连接实验室与市场关键角色。他们兼具算法能力与业务洞察,深入客户现场将抽象模型转化为可落地解决方案。国外企业纷纷扩充FDE团队,国内也开始有类似趋势。
让LLM不再话痨,快手HiPO框架来了
当前LLM存在‘过度思考’困境,效率与成本矛盾突出。快手与南大合作推出HiPO框架,通过混合数据冷启动和混合强化学习奖励系统,让模型能自主决策思考模式,实验显示它提升了效率和准确率,还具强泛化性。
Tilelang-1: Introduction
文章围绕TileLang展开,指出高层框架抽象层次高,难以满足算法创新和精细控制需求。TileLang将数据流与调度解耦,在易用性和性能间取得平衡。通过实例展示其语法和编译流程,实验表明它在多任务上超越现有方法。
让NCCL性能起飞的symmetric memory是啥黑科技?— part2
本文是NCCL 2.27新特性系列的第二部分,主要分析symmetric primitives的实现机制,介绍其提供的接口,如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口,还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。
跨芯片统一优化,DLCompiler与DLBlas驱动算子极致表现
9月10日,上海AI实验室DeepLink团队开源DLCompiler和DLBlas。前者是扩展Triton的深度学习编译器,后者是面向大模型的高性能算子库。它们有跨架构DSL扩展等亮点,在多芯片上实现性能优化,还解决了DSA芯片优化难题。
突破Pass@1瓶颈:一种让LLM自我博弈、永不枯竭的RL新范式,超越基线22.8%!
近年来,基于可验证奖励的强化学习(RLVR)在提升大型语言模型(LLM)推理能力上有关键作用,但存在熵崩溃问题。论文提出SVS创新策略,让模型自我合成变分问题形成自我提升循环,实验效果惊人。
DiT在数学和形式上是错的?谢赛宁回应:不要在脑子里做科学
X上有博主称DiT存在架构缺陷,其FID过早稳定,可能无法继续从数据中学习。还批判了DiT的设计,如使用后层归一化和adaLN - zero。DiT作者谢赛宁回应,强调做研究要基于实验,也指出DiT现存一些问题。