「异构资源调度」共找到 570 篇相关文章
监督学习未死,一题训练五小时起飞!华人学者新方法20倍训练效率释放大模型推理能力
大模型推理能力研究中,RL训练资源成本高、不稳定,传统SFT低数据量易过拟合。加拿大滑铁卢大学华人团队提出One - Shot CFT方法,用一题多解多点评训练,仅需约5个GPU小时,效果好、稳定性强。
半量工具,双倍效能:ARPO革新大模型强化学习
大语言模型在多轮工具调用场景有挑战,传统强化学习算法有探索效率低和资源消耗大问题。本文提出ARPO,通过量化token熵分布变化设计自适应探索机制,降低工具调用成本且提升多轮推理性能。
150PB工业数据+智能体革命,西门子开启AI制造新纪元
西门子在工业AI领域成果显著。其工业智能体系统贯穿工业脉络,Industrial Copilot提升开发效率。工业基础模型扎根150PB工业数据,与主流大模型路径不同。西门子靠数据和行业know - how构筑护城河。
首次综述「边-云协同计算」,分布式智能与模型优化的最新进展
边缘 - 云协同计算整合边缘节点和云端资源,解决传统云计算问题。最新综述论文系统梳理其架构设计、模型优化等方面,提出统一框架,还指明未来研究方向,如大语言模型部署、6G整合等。
万字长文!大模型(LLM)推理优化技术总结(非常详细)
文章聚焦大模型推理优化技术,介绍推理过程分预填充与解码阶段,还阐述模型并行、注意力机制优化、模型优化及服务技术等,如多查询注意力减少内存,FlashAttention 优化计算顺序。
华为昇腾推理对决:开源vLLM vs 官方MindIE,数据说话「Qwen与DeepSeek推理实测」
文章围绕华为昇腾推理,对比开源vLLM与官方MindIE。借助GPUStack平台测试Qwen与DeepSeek模型,分析不同场景性能。指出vLLM和MindIE各有优势,还强调构建国产AI推理生态需多要素,鼓励开源协作。
10步优化超越强化学习,仅需1条未标注数据!后训练强势破局
无监督的熵最小化(EM)方法仅需一条未标注数据和约10步优化,就能显著提升大模型在推理任务上的表现,甚至超越依赖大量数据和复杂奖励机制的强化学习(RL)。EM为大模型后训练提供了更高效简洁的新思路。
Loop Engineering,4层循环自我进化
Loop Engineering旨在解决人工调度agent的问题,设计系统替人prompt。其系统是四层嵌套循环,从内到外分别让agent干活、干得对、知道何时干、越干越好,还指出优化循环结构收益渐增。
马斯克 SpaceX 还没把数据中心送上太空,中国 GobiX 已在戈壁落地
SpaceX招股书指出AI发展受地球电力短缺制约,马斯克欲把AI数据中心建到太空。而中国远景科技集团打造AI电力系统,实施“Mission Gobi”计划,利用戈壁风光资源建绿色AI算力中心,且已在内蒙古落地实践。
GPU利用率不到15%,AI产业最大的浪费正在被这家公司改写|甲子光年
AI产业发展中算力成本高、利用率低问题凸显。趋动科技押注‘软件定义GPU’,试图把独占GPU变为共享算力池,其产品使客户GPU利用率平均提升约4倍,已服务超200家头部客户。