「推理优化技术」共找到 5270 篇相关文章
国内首次！8.9毫秒推理速度破纪录，1元打穿百万token
在2025人工智能计算大会上，浪潮信息发布元脑SD200和元脑HC1000两款AI服务器。前者让DeepSeek R1的Token生成速度达8.9毫秒，后者将推理成本降至1元/百万Token，解决了AI智能体速度与成本难题。
扩散LLM推理新范式：打破生成长度限制，实现动态自适应调节
随着扩散大语言模型成为热门，但其推理时存在预设固定长度的限制。香港中文大学 MMLab 等提出 DAEDAL，赋予模型根据问题自主调整回答长度的能力，在性能和计算效率上有提升。
模型「漂移」新范式，何恺明新作让生成模型无须迭代推理
训练生成模型复杂，传统扩散模型训练费时费力。何恺明团队提出「漂移模型」新范式，不依赖微分方程，支持一步推理，实验验证其在多领域性能佳，有望解决生成式AI质量与效率权衡问题。
西湖大学提出RDPO强化学习框架，实现扩散模型并行推理加速
扩散模型“顺序去噪”特性成速度提升瓶颈。西湖大学AGI Lab提出RDPO框架，不必改动模型本身，优化其“采样导航系统”，在多基准测试中取得领先图像生成效果，解决加速问题并提供RLHF对齐新范式。
Moonshot AI发布Kimi Linear技术报告，采用混合线形注意力架构
Moonshot AI在Hugging Face发布Kimi Linear技术报告，该48B参数模型采用混合线性注意力架构，称超越传统全注意力机制。官方数据体现其优势，模型已开源，社区反应不一，MiniMax则回归全注意力架构。
故障率降低100倍，微软突破性技术破解AI算力浪费大难题
在AI数据中心，网络链路高故障率制约算力释放。微软在“ACM SIGCOMM 2025”大会公布MOSAIC技术，将链路故障率降100倍，实现50米长距传输、最高68%功耗降低，为大规模AI集群提供支撑。
极简RL新范式：一半算力刷新1.5B模型推理SOTA
过去为提升中小参数量模型推理能力，开发者构建复杂RL流水线。JustRL论文提出极简、单阶段、固定超参训练方案，在两主流1.5B模型上刷新SOTA，节省2倍算力，消融实验还揭示部分技巧会致性能退化。
中国AI Agent产业化参考范本：斑马口语攻克的四大技术难关
2025年AI产业转折，通用大模型落地难，垂直场景成关键。斑马口语作为垂直落地的AI Agent，突破实时交互、语音识别、内容适龄、多模态呈现四大技术难关，为中国AI Agent产业化提供范本。
「有望成为Transformer杀手」，谷歌DeepMind新架构MoR实现两倍推理速度
谷歌DeepMind发布新架构MoR，有望成Transformer杀手。它统一实现参数共享、自适应计算，兼顾性能与效率。实验显示其推理吞吐量提升，降低计算需求，但能否取代Transformer存疑。
AI读不懂文档结构？计算所重构Agentic RAG文档推理能力
大语言模型工具使用能力推动RAG进化，现有Agentic Search框架有“结构盲”问题。中科院计算所团队提出DeepRead，将文档结构转化为坐标系统，用两大工具协同实现类人推理，在多数据集验证效果显著。