「推理架构」共找到 3518 篇相关文章
北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署！
北大团队提出iFairy方案，将模型权重量化到复数集合，用2比特表示，压缩至原本1/8。推理仅需加减或交换数据位置，成本更低。Transformer架构“复数化”，iFairy模型PPL降10%，性能反超全精度，相关成果已开源。
英伟达全新开源模型：三倍吞吐、单卡可跑，还拿下推理SOTA
英伟达推出专为复杂推理和agnet任务打造的开源模型Llama Nemotron Super v1.5，实现SOTA表现，吞吐量提至前代3倍，可单卡高效运行。它采用NAS优化架构，经多数据集训练，现已开源。
d-Matrix用3D堆叠技术终结"内存墙"，AI推理迎来光速时代
2025年9月Hot Chips上，d - Matrix展示3D堆叠数字内存计算技术，直击AI“内存墙”难题。其产品Corsair带宽强大，新Pavehawk架构更有性能跃升，为AI推理开辟新赛道，虽面临挑战但前景可期。
社区供稿 | GLM-4.5技术博客：原生融合推理、编码和智能体能力
文章介绍 GLM-4.5 和 GLM-4.5-Air，二者旨在统一推理、编码和智能体能力。在 12 个基准测试中表现良好，采用 MoE 架构等技术，还开源 slime 框架。文中展示其多方面应用，并说明使用方式。
大模型最后一层竟是推理累赘？绕开对齐税，奥数准确率暴涨 22.4%！
Qwen团队等最新研究打破传统认知，揭示‘对齐税’现象。提出置信解码策略，在多架构、评测集上表现出色，能绕过‘对齐税’，提升推理准确率，且工程开销低，为大模型发展提供新思路。
华人学生立大功！新王Mamba-3直击Transformer死穴，推理效率碾压7倍
新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。
上交大和辉羲把LLM刻进ROM！推理性能冲2万token/s，GPU时代终结？
硅谷Taalas将大模型‘物理焊死’进芯片引关注，而上海交大、辉羲智能与微软亚洲研究院团队用ROM+SRAM异构架构，将端侧LLM推理速度推至20,000 tokens/s。介绍了ROMA和TOM架构优势及应用场景。
单张显卡跑出15倍推理速度，aiX-apply-4B小模型加速企业AI研发落地
3月25日，硅心科技发布专为代码变更应用场景设计的轻量级模型aiX - apply - 4B。该模型在准确率、推理速度等方面表现出色，超越部分千亿级大模型，还推出“大模型+小模型”协同架构释放企业算力价值。
更长的推理链反而导致更多幻觉，MLLMs 幻觉解法仅「抄作业」还不够？摘要
近日，斯坦福等校学者发现，更长推理链会让 MLLMs 产生更强幻觉。MLLMs 幻觉不仅涉及语言偏差，还有跨模态语义失配。主流多模态架构在结构设计和训练机制上的潜在失衡，是幻觉频发的主因。
从0开发大模型的17种Agent架构演进详细拆解
文章详细拆解从0开发大模型的17种Agent架构演进，介绍各架构解决的问题、状态、拓扑、路由、失败模式等，指出Agent架构本质是控制流设计，还给出架构选择建议及判断新架构的方法。