「推理优化技术」共找到 5309 篇相关文章
拒绝传统 Router“瞎指挥”，多智能体如何实现智能任务分配？
企业级多智能体系统瓶颈常是负责分发任务的传统 Router 太“傻”，搞不定跨域、解不了冲突、跟不上变化。腾讯云开源 TCAR 智能路由模型，它先推理再选 Agent 集合，经多数据集评测表现出色，还提供完整开源范式。
最强DeepResearch！通义DeepResearch-30B开源实战：模型部署+LangGraph+A2A全攻略
阿里发布全开源项目通义DeepResearch，在研究任务评测中表现出色，底层是30B的MoE专用推理模型，资源需求低。文章演示了基于该项目构建本地化端到端DeepResearch助理的方法，包括模型部署、Agent实现等。
谷歌Gemini一次提示能耗≈看9秒电视，专家：别太信，有误导性
谷歌报告称处理一个中位数的Gemini文本提示能耗低，2024 - 2025年单个文本提示能耗降33倍、碳足迹减44倍，归功于全栈式优化。但专家质疑其方法论，指出未算间接用水、碳排放核算不全等问题。
从「塑料人」到「有血有肉」：角色动画的物理革命，PhysRig实现更真实、更自然的动画角色变形效果
当前主流绑定技术LBS有体积丢失等问题，影响动画真实感。UIUC与Stability AI联合提出PhysRig框架，用可微分物理模拟实现更真实自然的动画角色变形，还能做动作迁移，未来将开源并封装为插件。
英伟达、港大等发布创新KV缓存，实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。
谷歌突袭发布AI应用，无需Wi-Fi、手机就能跑大模型！网友实测两极分化
谷歌推出 Google AI Edge Gallery 应用，可在 Android 设备离线运行 AI 模型。它有本地运行、智能选模等特点，响应快且隐私性好。不过网友实测评价不一，有人认为它是旧技术包装，还被指比 Core ML 落后。
华为盘古首次露出，昇腾原生72B MoE架构，SuperCLUE千亿内模型并列国内第一
当前传统 MoE 有专家激活不均衡问题，华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练，推理性能强，在 SuperCLUE 榜单千亿内模型并列国内第一，赋能业务落地。
缓存不该困在一台服务器里
本文分析大模型推理阶段KV缓存的行业痛点，指出传统单机缓存孤立无法跨节点复用的问题，介绍焱融科技的分层共享缓存方案，公开了方案的实测性能数据，展现AI存储的新发展方向。
Physical Intelligence联创最新访谈：机器人尚未进入可预测的Scaling阶段
2024年末PI实验室测试，机器人表现有惊喜也有“语义上说得通的错误”。联创Levine在访谈中认为，机器人未到可预测Scaling阶段，还在确定规模化技术路径，也谈到数据、泛化、可靠性等问题。
华为AI芯片来时的路
文章围绕华为AI芯片发展展开，提及方兴东《昇腾崛起》记录其历程。从战略觉醒到技术研发、应对制裁，华为历经曲折，如提出“韬定律”，发布多款芯片，在逆境中构建生态、拓展市场，展现强大实力与坚韧。