「运行成本」共找到 2020 篇相关文章
AI 产品范式探讨:非线性思维、多 Agent 协作才是复杂任务的更优解
本文探讨AI产品范式,指出当前大模型产品设计多将其视为‘万能单兵专家’,但复杂任务下效果不佳。提出群体智能、非线性思维等观点,阐述人机协作方向,介绍新范式及AI产品商业化核心是信任。
LLaVA-OneVision-1.5全流程开源,8B模型预训练只需4天、1.6万美元
灵感实验室团队联合 LMMs - Lab 推出 LLaVA - OneVision - 1.5,全流程开源。其 8B 模型预训练 4 天、成本 1.6 万美元,在多模态基准上性能优,还公开数据构建与训练策略等细节,复现简单。
上海AI Lab提出CANON:让RLVR自主识别优质推理模式
上海AI Lab与上海交大团队提出创新框架CANON,解决将人类先验知识融入RLVR训练的难题。它通过条件分组与对比机制,自适应放大有益指标变化趋势,在数学和逻辑推理任务上成果卓越,还能提升推理效率。
LeCun团队开源首个代码世界模型:能生成代码还能自测自修!传统编程模型一夜成古典
Meta FAIR推出全球首个代码世界模型CWM,它能生成代码、理解语义,还‘懂得’代码执行,能模拟运行过程。在多个代码与推理任务表现出色,开源代码、训练细节等,不过目前仅支持Python。
Ollama升级模型调度系统:内存管理更精准,多GPU性能提升
Ollama升级模型调度系统,精确测量运行模型所需内存,带来内存崩溃减少、GPU利用率提高等改进。Gemma3、Mistral - small3.2等模型性能提升,更多模型正迁移,还在开发iGPU支持,评估NPU支持。
Gaia2 与 ARE:赋能社区的智能体评测
文章介绍 Gaia2 与 ARE,Gaia2 是智能体基准 GAIA 升级版,能分析复杂行为,与 ARE 框架一同发布。ARE 可模拟复杂真实条件,支持定制。文中对比多款模型,指出当前模型挑战,并说明评测步骤和 ARE 使用场景。
国科大 | 提出进化算法:EvolKV,自适应分配KV Cache,预算降至1.5%!
键值缓存(KV cache)是大模型快速运行核心技术,但输入文本越长,存储和处理问题越突出。国科大提出进化算法EvolKV,自适应分配KV Cache,实验显示其效果显著,预算可降至1.5%。
OpenVision 2:大道至简的生成式预训练视觉编码器
多模态大模型浪潮中,视觉模块是关键。此前OpenVision训练管线复杂,成本高。研究者提出OpenVision 2,移除文本编码器与对比学习,引入随机丢弃视觉token技巧,性能佳且效率高,挑战了对比学习范式。
震撼实锤!清华姚班校友揭「1.4×加速」陷阱:AI优化器为何名不符实?
为降低大模型预训练成本,近年新优化器频出,宣称加速1.4×到2×却难落地。斯坦福研究指出方法学缺陷,对比不同缩放范式加速差异,给出优化器设计见解,证实严格基准评测必要。
科普向:一文解构大模型后训练,GRPO和它的继任者们的前世今生
文章深入解读大模型后训练,先对比 PPO 与 GRPO,指出 GRPO 优势及成本问题。又介绍 GRPO 后续改进算法,如 DAPO 解决训练问题、GSPO 提升训练稳定性、GFPO 可优化多属性,还提及 GRPO 其他缺陷。