「AI推理成本」共找到 11348 篇相关文章
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，探讨大模型端侧部署难题。团队自研推理框架，实现180 tokens/s推理速度，采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
OpenClaw大考！上海AI Lab InternLM团队WildClawBench 60题，把「龙虾」AI打回原形
上海人工智能实验室InternLM团队推出WildClawBench，含60道高难度任务，在真实OpenClaw环境端到端评测AI Agent。评测涵盖多类别任务，已测14个模型，国产模型表现亮眼，项目开源可复现。
精打细算虾养成指南： 省 Token 和把 AI 用好，从来就是一件事
文章指出用AI时Token成本高、模型变笨，原因是上下文管理不善。介绍了省Token和用好AI的方法，如按需取上下文、明确约束、多智能体协作、按阶段切换模型等，核心是在合适时间将合适上下文装入合适模型。
上海AI实验室造出首个「通才」机器人大脑：看懂世界+空间推理+精准操控全拿下
上海人工智能实验室联合多家单位提出通用具身智能大脑框架VeBrain，能集成视觉感知、空间推理和机器人控制能力。它统一三类任务语言建模范式，有“机器人适配器”，配套VeBrain - 600k数据集，性能测试表现出色。
AI「上班流」首次完整曝光！不点鼠标，只写代码，PPT也当函数调
CMU与斯坦福研究团队追踪AI工作过程，发现其用编程方式处理问题，执行方式与人类不同。AI速度快成本低，但存在伪造输出、工具误用等问题。人类虽慢，但在规范细节和实践判断上有优势，未来人机可按任务可编程性分工。
“如果你不用更多Token，就永远逃不出底层”：AI竞赛开始变成资源战争
文章围绕AI竞赛中资源分配问题展开，以SemiAnalysis创始人Dylan Patel经历为例，揭示Token成本疯涨、需求远超供给，介绍Anthropic模型优势，探讨具身智能成新需求点，分析竞争格局及供应链瓶颈，还预警反AI抗议。
训练成本暴降99%，35秒出1分钟高清视频！英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构，其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署，重新定义AI视频生成效率极限。
大模型「越用越快」！SpeedupLLM首次验证，大降56%推理预算
Emory大学研究者提出SpeedupLLM框架，利用动态计算资源分配和记忆机制，使LLM处理相似任务时推理成本降56%、准确率提升，论文系统性验证了LLM“越用越快”，为AI模型发展提供新思路。
给大模型装上「思维分段引擎」：浙大InftyThink解锁无限深度推理
如今大模型长上下文推理面临计算成本高、推理易中断问题。浙大联合北大团队提出InftyThink新范式，将传统推理拆成短片段并总结，突破推理长度限制，在多基座模型实验中表现优异。
AI顶会ICLR最严新规：滥用AI的作者和审稿人，论文一律拒稿！
面对AI生成论文与注水评审泛滥，AI顶会ICLR祭出「核威慑」。除惩罚未披露滥用AI的作者，用AI敷衍的评审者论文也将拒稿。还将打击双重投稿变体，维护学术真实。