搜索：混合推理架构

「混合推理架构」共找到 3661 篇相关文章

微软刚发布Mu模型：支持Windows智能体，小参数跑出10倍性能

今天凌晨微软发布创新小参数模型Mu，3.3亿参数性能比肩Phi - 3.5 - mini，体量小10倍，离线NPU笔记本每秒超100 tokens响应。它支持Windows智能体，架构有多项创新，经训练优化后智能体表现出色。

雷峰网与8位参展AI Infra公司的决策者交流，捕捉行业新方向和共识。今年行业关注重心从拼规模转向比效率，Token推理成算力消耗主体，AI工厂和Token工厂共生，未来竞争聚焦效率，不同玩家各有优劣。

本文是“企业级本体应用”系列第三篇，探讨本体如何融入企业智能体系统。指出本体非数据库或图谱，是语义层。介绍本体在Agent系统的架构与职责，通过案例展示用本体做规则判断和多维归类，凸显其优势。

在‘双碳’目标与数字中国建设蓝图下，电能管理机遇巨大。黄兴博士指出将供电架构优化为高压直流可降低能耗，关键在于碳化硅功率芯片。其创办的派恩杰半导体，自主研发芯片，从芯片到封装助力客户，迎来产业机遇。

DeepSeek-V3.2和DeepSeek-V3.2-Speciale推理能力显著提升，海外研究者用英文提问，它却用中文思考。评论有两种观点，相关论文显示中文省token但非最有效，大模型选思考语言并非只看效率。

Anthropic发布多智能体研究系统构建解释，解决多智能体研究困惑。多智能体系统优势明显，在特定任务中表现出色，但token消耗大。其架构独特，还介绍了提示词工程、评估方法、面临的工程挑战等内容。

论文提出RLSC，让大语言模型用自身答案置信度作奖励信号，摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号，小成本提升模型数学能力，还让模型学会快推理，不过也存在安全隐忧。

今年世界人工智能大会上，智能体成主角，AI厂商纷纷布局。文章指出人们对AI大模型期望转变，介绍智能体底层逻辑，涵盖工具使用、推理模型、ReAct框架等，还对比先前尝试，探讨智能体能力层次与未来发展。

美团推出LongCat-2.0，是首个在国产算力上实现全链路训推闭环的万亿参数模型。它多项性能强，适配主流编程工具，架构设计原创，还证明了国产算力有支撑大模型迭代的能力，训推成本更低。

8月4日，腾讯混元开源四款小尺寸模型，参数为0.5B、1.8B、4B、7B，消费级显卡可运行，适用于低功耗场景。模型具备推理快、性价比高特点，亮点是Agent和长文能力，已在腾讯多业务应用。