「链式训练结构」共找到 2566 篇相关文章
OpenAI算力账单曝光:70亿美元支出,大部分钱花在了“看不见的实验”
据Epoch AI统计,去年OpenAI计算资源支出70亿美元,多以租微软云算力支付。其中50亿研发算力,大多用于幕后研究和实验,非爆款模型的最终训练,也解释了其2024年亏损原因。
思维链可无限延伸了,MIT等打破大模型上下文天花板
MIT等机构提出新架构Thread Inference Model(TIM),配合专用推理引擎TIMRUN,把推理过程变为树状递归子任务结构并修剪子任务,让模型突破输出窗口限制实现长程推理,实验验证了其性能。
开放世界任务成功率82%!美的攻克机器人泛化控制难题
美的AI研究院和华东师范大学联合提出ChatVLA - 2模型,引入动态混合专家架构和双阶段训练流程。真机实验显示其开放世界任务成功率达82%,远超现有方法,为通用机器人控制提供新思路。
想进OpenAI?先解出这道题,百万美元算力已就位
OpenAI发起Model Craft Challenge「Parameter Golf」项目,要求在固定数据集上降验证损失,模型产物控制在16MB内,8张H100 GPU 10分钟完成训练。提供百万美元算力,6月招早期人才,挑战3月18日至4月30日。
2M大小模型定义表格理解极限,清华大学崔鹏团队开源LimiX-2M
大语言模型在结构化表格数据处理上表现不佳,清华大学崔鹏团队开源的 LimiX-2M 模型,仅 2M 参数,却能同时支持分类、回归等任务,性能超越经典模型,且训练、运行成本低,科研友好。
3A大作!阿里ROLL团队从基建->算法->机理,推动RL4LLM全栈协同优化
阿里巴巴ROLL团队联合高校推出「3A」协同优化框架,推动「强化学习用于大语言模型(RL4LLM)」迈向新范式。Async架构提升GPU利用率,AsyPPO降低计算资源消耗,Attention机制提升训练效率与可解释性。
因果发现大模型迎来「理论破局」: DAG-FM 破解异质机制下的因果图识别与涌现难题 | GAIR Paper 116
浙大、清华与稳准智能联合发布因果发现大模型DAG - FM,解决了现有模型缺乏理论基础、易产生非法环路和显存爆炸问题。它在理论上证明因果图可识别,架构上避免环路,处理数据能力强,还将推进特定领域预训练。
赌自己会失业!田渊栋八人天团狂揽44亿元,杀入「递归进化」赛道
Recursive Superintelligence由八位顶尖AI研究员创立,获GV、英伟达等投资6.5亿美元。他们要让AI自我训练,实现递归自我进化,若成功或使AI研究员岗位消失。此前已有相关成果,产品端Anthropic也在推进AI主动性。
来了,DeepSeek又悄悄开源LPLB项目
DeepSeek 悄悄开源 LPLB 项目,该项目解决 MoE 小批量训练专家每批 token 数抖动问题。LPLB 在 EPLB 基础上,将‘冗余专家’看成带容量边的图,每批解一次线性规划,实现 token 重新路由,单节点 100µs 级求解。
清华给电子显微镜加上Agent,DeepSeek V3全程调度,数天流程缩短至几分钟
清华大学牵头,联合多机构推出电镜领域AI Agent AutoMat,它能把原子级STEM图像转成标准CIF结构并给出关键物性,将人工流程缩短至几分钟。它还构建数据集验证,性能超现有工具,不过也有瓶颈待解决。