「推理优化与部署」共找到 3516 篇相关文章
大模型推理的“左右脑”革命！华为盘古Embedded凭昇腾之力，让快慢思考合二为一
传统大模型推理面临长链条深度思考与低时延反馈的矛盾，华为盘古团队提出盘古Embedded模型。基于昇腾NPU，其采用双系统认知架构，集成“快思考”与“慢思考”双推理模式，实现推理效率与精度协同提升。
DeepSeek-R1推理智能从哪儿来？谷歌新研究：模型内心多个角色吵翻了
过去两年大模型推理能力跃迁，谷歌等机构研究指出，推理能力提升源于模型推理时隐式模拟类多智能体交互结构“思维社会”，还提出利用“群体智慧”新方向，并介绍了研究方法、实验结果等。
将 Pod 作为 worker 而非智能体：在 Kubernetes 上重新思考 AI 智能体的部署单元
在CNCF博客文章中，Lin Sun介绍kagent项目工作，认为Pod可能是智能体执行单元，却不适合作为部署、身份标识或生命周期单元。探讨了两种智能体部署方法及利弊，还提及新部署模式影响。
DeepSeek-R1推理智能从哪儿来？谷歌新研究：模型内心多个角色吵翻了
谷歌等机构研究指出，推理模型能力提升源于‘思维社会’，即模拟类多智能体交互结构。如 DeepSeek - R1 等在推理中展现高视角多样性，对话特征能提升推理准确率，还提出利用‘群体智慧’新方向。
AI Infra进入自进化时代！清华团队用「AI优化AI」造就国产万亿Token工厂
AI自主优化RSI成新焦点，被视为通往AGI的关键路径。硅谷为此沸腾，中国也不落后。清昴智能由清华团队创立，率先打造自进化算力底座，还基于国产算力打造万亿Token工厂，目标是让优化成为持续运行的基础能力。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
Mistral的首个强推理模型：拥抱开源，推理速度快10倍
本周二，欧洲人工智能公司 Mistral AI 发布全新大语言模型 Magistral 系列，有企业版 Magistral Medium 和 24B 参数开源版 Magistral Small。它推理强、多语言表现好，速度比竞品快 10 倍，应用于主流云平台，成本有竞争力。
推理时扰动高熵词，增强LLM性能
香港科技大学（广州）研究团队发现LLM推理时，一小部分高熵词显著影响输出正确性。基于此提出MTI方法，含Selective CFG intervention与Lightweight negative - prompt guidance，无需额外训练，能提升模型推理能力。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
MCP进阶：一键批量搞定MCP工具部署
在AI应用复杂当下，传统MCP工具集成有痛点。文章提出基于阿里云计算巢的一站式方案，可多MCP工具批量部署，首创双通道调用能力，还介绍部署、使用、增减工具及问题排查等内容。