「异构混合推理」共找到 2235 篇相关文章
供需失衡的窗口期里，商汤大装置把国产算力做成了正毛利生意
WAIC期间，商汤大装置举办AI基础设施论坛，展示国产算力成绩单，将国产芯片业务毛利率做到正数。其通过异构混合推理等操作方法论，提升芯片利用率，还在多领域合作，虽红利或收窄，但方法论有长期价值。
DeepSeek倒逼vLLM升级！芯片内卷、MoE横扫千模，vLLM核心维护者独家回应：如何凭PyTorch坐稳推理“铁王座”
本文介绍了vLLM的发展，自开源后成科技公司首选推理引擎。因DeepSeek发布，团队转向其模型特性优化；还参与各芯片支持工作。vLLM靠PyTorch支持多硬件，同时拓展到多模态推理，面临竞争仍保持优势。
开源DeepSeek R1增强版：推理效率快200%，创新AoE架构
德国TNG公司开源DeepSeek R1增强版DeepSeek - TNG - R1T2 - Chimera，基于三大模型混合开发，采用创新AoE架构，推理效率比R1 - 0528快200%，成本大减，在主流测试中性能更好。还介绍了AoE架构构建子模型方法。
一个模型超了DeepSeek R1、V3，参数671B，成本不到350万美元
Deep Cogito 是旧金山 AI 初创公司，开源四款混合推理模型。最大 671B MoE 模型性能超 DeepSeek v3 等，推理链比 DeepSeek R1 短 60%，训练成本不到 350 万美元。核心方法是迭代蒸馏与增强。
腾讯混元TurboS技术报告首次全公开：560B参数混合Mamba架构，自适应长短链融合
腾讯公开混元TurboS技术报告，该模型是超大型Hybrid Transformer - Mamba架构MoE模型，融合Mamba与Transformer架构优势，有自适应长短思维链机制，激活参数56B。在多评测中表现佳，推理成本低。
AAAI 2026 Oral | 大模型「爱你在心口难开」？深度隐藏认知让推理更可靠
合肥工业大学团队提出大模型存在‘隐藏的真伪认知’，论文让模型用此给推理‘打分’，过滤错误推理链。通过多层注意力头探测、构建预测器和新推理扩展策略，提升了推理链稳定性，实验效果优异。
ICLR 2026 | 越推越快! 首个面向「Test-Time Scaling」的投机解码基准
文章指出推理阶段扩展（TTS）能提升推理大模型解决复杂问题的能力，但会产生大量冗余计算。为此提出首个面向TTS的投机解码加速综合基准，评测显示N - gram方法在特定场景加速潜力大，混合策略性能更优。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
万亿思考模型新速度！蚂蚁开源Ring-2.5-1T：IMO金牌水平，强；混合线性架构，快！
蚂蚁集团发布全球首个开源混合线性架构万亿参数模型Ring - 2.5 - 1T，打破深度思考牺牲推理速度和显存的‘不可能三角’。还同期发布扩散语言模型LLaDA2.1和全模态大模型Ming - flash - omni - 2.0，想做成可复用底座。
苹果憋一年终超同参数 Qwen 2.5？三行代码即可接入 Apple Intelligence，自曝如何做推理
今年 WWDC 大会上，苹果推出专为增强 Apple Intelligence 功能的语言基座模型，含约 3B 参数紧凑型与基于服务器的混合专家模型。经优化可在苹果芯片高效运行，改进工具使用与推理能力，评测显示设备端模型表现优。