「混合推理架构」共找到 3631 篇相关文章
超长推理还能节省计算！Salesforce开源神器两连发：教大模型边想边省，显著提升数学编程准确率
Salesforce AI Research开源Elastic Reasoning和Fractured Sampling。前者将推理流程分两部分，分配token预算，使输出缩短、准确性提高；后者打碎推理链条，从三维度采样，以更少tokens换更高准确率，均提升数学和编程任务准确率。
非Transformer架构落地之王，带着离线智能和原生记忆能力在上海WAIC浮出水面
在上海WAIC现场，RockAI展台的机器狗和灵巧手在离线状态表现出色，背后是其非Transformer架构的大模型Yan 2.0 Preview，有原生记忆和离线智能能力。该公司成立两年，押注此架构，产品已商业落地，还构想群体智能未来。
Loop-ViT：让AI学会「反复思考」，3.8M参数小模型追平人类平均水平
香港科技大学等团队提出 Loop - ViT，将循环 Transformer 引入视觉推理领域。该模型参数少但性能强，3.8M 小版本追平人类平均水平，揭示视觉推理任务中‘思考时间’比‘模型大小’更重要。
黄仁勋CES2026最新演讲：三个关键话题，一台“芯片怪兽”
北京时间1月6日，英伟达CEO黄仁勋在CES2026演讲。回顾过去一年开源模型发展，本次围绕系统与基础设施、模型、应用落地三条主线演讲，展示Rubin架构等成果，推动推理型AI发展及应用。
KV-Cache 实战策略：生产环境中的分页、固定与复用技术解析
在大语言模型推理场景中，KV - Cache 是平衡性能与成本的核心技术，但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术，结合原理、实践与案例，为开发者提供解决方案，还探讨了未来演进方向。
Transformers来到了v5时代：从工具包到真理之源，AI时代的操作系统内核的极简进化论
Transformers v5发布，通过极简定义和极致互通成AI生态核心。它做减法重构代码、拓展训练流程、成推理引擎弹药库、提升量化为核心功能，连接训练、推理与部署，是AI生态通用语言。
开源医疗模型SOTA：蚂蚁健康发布百亿参数医疗大模型
由浙江省卫生健康信息中心、蚂蚁健康等联合开发的AntAngelMed医疗大模型正式开源。它凭借独创训练与架构，在权威评测中表现优异，降低算力门槛，将专业知识、诊疗能力与计算架构融合，为医疗AI落地奠基。
比自回归更灵活、比离散扩散更通用，首个纯Discrete Flow Matching多模态巨兽降临
近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。
图灵奖得主杨立昆现场追问：AI 还没越过这 3 道认知墙，谈什么通用智能？
图灵奖得主杨立昆指出AI未越过三道认知墙，即看不懂物理世界、无长时记忆、无推理结构，提出JEPA架构及AMI概念，还建议别卷模型，应卷架构，如探索具身智能等领域。
入局AI Infra：程序员必须了解的AI系统设计与挑战知识
文章分享传统后台工程师技术栈和方法论如何迁移到AI系统，系统性拆解AI Infra的硬件、软件、训练和推理挑战，如硬件从CPU到GPU、软件依赖深度学习框架，还分析训练和推理面临的问题及解决办法。