「混合推理架构」共找到 3631 篇相关文章
大模型结构化推理优势难复制到垂直领域!最新法律AI评估标准来了,抱抱脸评测集趋势第一
多个机构研究人员联合发布全新多语言法律推理基准数据集LEXam,它含4886道题,每道长篇题有答案和推理路径。研究显示现有大模型应对法律推理难,LEXam引入评估新模式,还对不同模型做了测试。
OpenCode AI编程实践:利用推理路由低成本开发游戏
文章介绍用 OpenCode 结合 DigitalOcean 推理路由器开发点球大战游戏 PK Shootout。其按任务选模型,多数任务路由到 MiMo V2.5 和 GLM - 5.2,成本约 8.25 美元,远低于只用前沿模型。文中还分析开发各环节及适用场景。
深入理解OpenClaw技术架构与实现原理(上)
文章深入解析OpenClaw技术架构与原理,它以Gateway为核心,是高度灵活的个人AI助手系统,改变了软件开发范式。涵盖统一控制平面、推理循环、定时任务等多模块。如Gateway负责消息路由等,推理循环控制运行逻辑。
这个推理模型:HRM ,只用2700万参数,超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型HRM,它是全新循环架构,仅2700万参数、1000个训练样本,就在复杂推理任务上表现卓越,还引入近似梯度等方法,有推动通用计算变革潜力。
跳过88%专家,保住97%性能!MoE推理的正确玩法| CVPR’26
多模态大模型走向大规模,MoE架构虽降低计算开销,但推理成本仍高。香港科技大学等团队提出MoDES,它是training - free动态专家跳过框架,能跳过88%专家还保留97%性能,推理速度提升2倍。
Mamba核心作者新作:取代DeepSeek在用的注意力机制,专为推理打造
Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制,在减少KV缓存用量、保持模型质量的同时,显著提升解码速度,优化长上下文推理能力。
去掉像素中介!上海交大让AI边看边想边画,用同一个“大脑”跨模态推理
上海交大等团队提出LatentUM架构,摒弃像素解码中介,在共享语义潜空间跨模态思考。它用MBAQ技术转化视觉特征,设计MoME架构,还能自我反思、规划路线、模拟世界演变,表现出色。
TRM思考奖励模型上线,大模型推理质量终于能量化了 | ICML‘26 Oral
大模型推理评测多只看答案,忽略推理过程。上海多校团队提出TRM,用ME² principle刻画推理质量,DAG-based pairwise evaluation还原结构,训练奖励模型,让推理质量可度量、训练和优化。
Skills驱动推理新范式,清华&北大:Token立省59%,准确率不降反升
当前推理模型虽准确率高,但生成“思考过程”会使推理成本和延迟上升。奇元科技、清华、北大等提出TRS框架,将历史推理轨迹蒸馏成技能卡片,在推理时检索注入,实现更少Token、更高准确率。
美团之后,京东也开始自研大模型了
京东发布JoyAI - LLM Flash模型,激活参数小、推理快。它采用混合专家架构等技术,在基础架构、数据加工、强化学习等方面表现出色,还通过多Token预测等技术加速推理,为商业场景落地扫清障碍。