搜索：混合推理方案

「混合推理方案」共找到 2916 篇相关文章

DeepSeek被曝自研AI推理芯片

据路透社报道，DeepSeek 正开发自研 AI 推理芯片，欲降低对英伟达和国产芯片依赖。此为重大战略转变，影响英伟达股价。虽有降本等好处，但面临技术、制造、生态等挑战。

在大模型推理时代，Test - Time Scaling成提升能力重要方向，但面临效率问题。ATTS提出异步框架，加入共形预测筛选候选路径，实验显示其加速显著，将测试时扩展推进到‘有原则加速’阶段。

大概念模型（LCM）是自然语言处理新范式，侧重结构化推理和理解，与 LLM 不同。它依赖结构化知识，可模拟专家思维，解决当前 AI 缺陷，文章还介绍其架构、应用、局限，探讨与 LLM 结合的未来发展。

医学领域需处理复杂关系，现有医学AI系统缺乏对罕见实体和复杂关系的推理能力。MedResearcher - R1通过专门图谱和检索工具，结合两阶段训练范式解决问题，在医学基准测试取得新成果。

谷歌DeepMind和MIT联合发表论文TUMIX，指出Multi - Agent是推理时扩展的最佳方式，以低成本大幅提升准确率。实验表明Agent多样性优于重复采样，还展示TUMIX机制、实战表现，且LLM能设计更强Agent。

Libra AI是面向生产环境的AI原生开发平台，可通过自然语言交互管理Web应用全生命周期。它功能丰富，如AI智能编码、集成开发体验等。其开源有技术自主、架构灵活等好处，还介绍了技术架构、上手方式与部署方案。

本文首次公开Qwen3技术报告，介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式，引入思考预算机制，降低轻量级模型计算资源，在多基准测试领先，多语言支持扩展至119种，所有模型开源。

xAI上周五发布旗舰模型轻量化版Grok 4 Fast，推理成本直降98%。它通过强化学习在基准测试表现佳，有原生工具调用能力，采用统一架构，性价比高，或改写大模型竞争规则。

近年来，线性序列建模和混合专家（MoE）研究进步大，但两者结合研究少，相关开源实现缺失。上海人工智能实验室团队的 Linear - MoE 首次实现两者高效结合并开源技术框架，实验验证其有诸多优势。

OpenAI发布首个开源大模型GPT-OSS，虽性能无惊喜，但设计思路有意思。其架构是经典延续，消息格式有巧思，支持三档推理模式，分词器有小进步，这些设计在实际应用和理论上有一定价值。