「优化问题」共找到 4238 篇相关文章
假如有一万张卡,RL训练该怎么扩大规模?十万张呢?
本文是腾讯混元团队针对大模型强化学习规模化训练的研究,聚焦万卡级算力下Batch Size优化问题,拆分样本效率与系统效率的影响,给出可落地的调优框架,实测可缩短29%训练时间。
谷歌Gemini | 一次提示能耗≈看9秒电视剧?
谷歌发布Gemini能源消耗研究报告,称处理中位数文本提示能耗低,2024 - 2025年能耗降33倍、碳足迹减44倍,归功于全栈式优化。但专家质疑方法论,指出未算间接用水、碳排放核算不全等问题。
Gödel Rescheduler:适用于云原生系统的全局最优重调度框架
本文介绍字节跳动研发的Gödel Rescheduler重调度框架,它能解决传统调度资源分配和任务摆放问题。阐述传统重调度弊端,介绍新方案组件,列举应用场景及成果,还提及未来规划,目前已开源。
推理成本太高、算力不够用?单纯堆卡没用,得靠极致的“压缩”与“调度” | AICon
大模型落地面临推理成本高、算力需求大的问题。AICon大会上,阿里云刘峥、ModelTC龚睿昊、阿里巴巴马腾、OPPO宋晓辉、清程极智汤雄超等专家将分享从压缩到调度的推理优化方案,覆盖云到边缘、多算力平台。
Cache Me If You Can:陈丹琦团队如何「抓住」关键缓存,解放LLM内存?
普林斯顿大学陈丹琦团队新论文聚焦长上下文语言模型 KV 缓存问题。传统 KV 缓存大小随输入文本长度线性增长,此前方法难公平比较。团队提出「KV 足迹」指标,改进方法并推出 PruLong 优化内存,节省空间且保性能。
卡帕西都整破防了:AI Coding没门槛,可部署环节真嗯啊的难
AI Coding界明星卡帕西公开吐槽,代码不再是AI编程瓶颈,部署才是。他以自己开发「菜单图片生成器」的经历为例,指出部署环节问题频发。他认为应让AI调用和配置,还推荐了Stripe Projects等优化产品。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”?
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
搜索智能体RAG落地不佳?UIUC开源s3,仅需2.4k样本,训练快效果好
当前 Agentic RAG 落地有挑战,UIUC 和 Amazon 提出 s3 训练范式。它仅需 2.4k 样本,训练快且效果好,解决了优化目标偏离、检索与生成耦合等问题,在通用和医学 QA 任务中表现出色。
Ray异构融合底座重构数据管道:架构演进与万卡落地实践
文章指出大模型发展下,传统大数据引擎在多模态数据处理局限性凸显。腾讯基于Ray构建新一代数据管道,介绍了云原生调度与计算范式融合架构,详述容错、资源利用等方面优化实践,展示了重构收益。
缺数据也能拿SOTA?清华&上海AI Lab破解机器人RL两大瓶颈
现有机器人视觉 - 语言 - 动作(VLA)模型训练范式存在数据采集成本高、泛化能力不足等问题。清华和上海AI Lab团队提出SimpleVLA-RL,解决了VLA模型训练的核心瓶颈,在多基准测试中实现SoTA性能。