搜索：混合推理架构

「混合推理架构」共找到 3628 篇相关文章

Transformer上限触顶，Mobius能否引发下一代模型架构的革命？

自ChatGPT问世，Transformer上限备受关注。前OpenAI、Google负责人称其走到尽头。国内改进架构受算力限制。上海人工智能实验室的书生Mobius团队提出分离知识与推理的架构，有望解决商用等关键问题。

2023年以来大模型战场由decoder - only架构主导，Google双线出击。T5Gemma重燃encoder - decoder架构战火，性能提升显著；MedGemma坚守decoder - only路线，强攻医疗多模态，击穿闭源壁垒，打响开源反击战。

上海交通大学EPIC Lab团队提出免训练推理缓存机制dLLM - Cache，复用特征降低计算量。它即插即用，通用于主流dLLM架构，在多个基准测试中实现数倍推理加速，且不降低生成质量。

面壁发布包含10个模型的MiniCPM4系列，其推理速度快。它有高效模型架构、学习算法、高质量训练数据和推理系统等创新点，还给出了MiniCPM4实战代码及启用InfLLM v2的参数设置。

面向自动驾驶的多模态大模型存在问题，FSDrive提出“时空视觉CoT”，让模型“以图思考”，联合未来场景与感知结果进行可视化推理。该方法在不改动原有MLLM架构前提下激活图像生成能力，实验表现出色。

智谱继GLM4.5后又开源GLM - 4.5V，它是同级别开源SOTA视觉推理模型，在多模态理解榜单表现优异。文章实测其在科研全生命周期的应用，还介绍了模型架构设计和训练策略。

智谱继GLM-4.1V-9B-Thinking、GLM-4.5后，又开源最强多模态推理模型GLM-4.5V，在多模态理解榜单达开源SOTA。它视觉推理强，经测试能助力科研各阶段，还介绍了其架构设计与训练策略。

22岁初创CEO Kye Gomez以第一性原理推导出Claude Mythos核心架构，开源OpenMythos项目。该架构采用循环深度Transformer，不堆参数，循环思考16次推理，结合MoE层，参数效率翻倍。

上海人工智能实验室等团队提出全新生成式多模态推理范式，发布模型 DiffThinker。它打破传统定式，以图像到图像生成任务重构推理过程，在多项复杂任务中表现优于顶尖闭源模型，有四大核心特性。

上海AI Lab的OpenDataLab团队通过大规模实验剖析可验证强化学习（RLVR）在多领域推理中的机制，发现逻辑与数学数据相互支持、代码推理有跨领域混合效应等，为构建AI推理模型提供关键发现。