「集群性能优化」共找到 2912 篇相关文章
每2秒吃透一道高数大题!华为终于揭秘准万亿MoE昇腾训练系统全流程
华为揭秘准万亿MoE昇腾训练系统全流程,通过“昇腾+Pangu Ultra MoE”实现国产算力与模型自主可控训练闭环,从集群利用率、单节点算力、后训练技术三方面突破,实现大模型高效训练。
AI五小时发现MoE新算法,比人类算法快5倍,成本狂降26%
加州大学伯克利分校团队提出ADRS系统研究方法,基于OpenEvolve框架优化算法。以EPLB算法为例,新算法比人类算法快5倍,成本降26%,且Nature也报道过AI创造新算法新闻。
RL训练一层就够了!单层RL超越全参数训练,跨任务跨模型跨算法全部验证
明尼苏达大学、北大和亚马逊团队研究发现,RL收益集中在中间层,训练单层可超全参数训练。他们提出层贡献度指标,经多模型、算法、任务实验验证,还给出三种训练优化策略。
0.9B跑出90%真机成功率!上海交大为VLA补上空间感
上海交大MINT团队提出中间路线Evo - Depth,约0.9B参数,不额外增硬件负担,兼顾仿真与真机性能及部署效率。系统由IDEM、SEM等组成,代码等已开源。
打破视觉Token的算力诅咒,RedundancyLens如何为多模态大模型推理减负
多模态大模型的 Decoder - only 架构处理视觉 Token 有计算冗余。合合信息团队提出无需额外训练的动态计算削减方法,在不影响性能前提下降低推理成本,适用于多场景。
一篇双引擎进化的长程Agents系统性综述
人大、北大、清华等联合发表149页长时程Agent综述,给出首个统一形式化定义,梳理出‘外化Harness工程×内化模型优化’双螺旋共演化主线,用六个视角串起技术版图。
架构解耦是统一多模态模型所必须的吗?全新AIA损失:No
香港中文大学 MMLab 和美团研究者思考架构解耦是否为统一多模态模型必须,推出 AIA 损失。研究发现架构解耦未解决任务冲突,AIA 能提升模型性能,减少数据配比问题。
OpenAI官方GPT-5 提示词泄露:这套“反向Prompt”技巧,让模型听话得像条狗。
GPT5提示词被破解,结合官方《GPT - 5 Prompting Guide》有不少技巧。如Metaprompting让GPT - 5优化Prompt,指导AI编码可明确知识、培养自信等,还有控制AI主动性的方法。
不卷AlphaFold,OpenAI首个生命科学模型杀出,单项超越95%专家
OpenAI发布首款生命科学模型系列GPT - Rosalind,在RNA预测任务上超越95%人类专家。它针对科研工作流优化,还推出插件连接多数据库和工具,与药企巨头合作,和AlphaFold是互补关系。
蚂蚁集团发布KAG-Thinker,多跳问答慢思考,医疗领域拿下87分
在LLM问答领域,多跳问题存在局限性,现有方法缺乏严谨性等。KAG - Thinker是基于KAG框架的模型,将复杂问题分解,通过多模块优化知识获取,在医疗领域实用,稳定性也出色。