「并行推理加速」共找到 2748 篇相关文章
4B小模型数学推理首超Claude 4，700步RL训练逼近235B性能 | 港大&字节Seed&复旦
香港大学NLP团队联合字节跳动Seed、复旦大学发布Polaris强化学习训练配方，让4B模型数学推理能力超商业大模型，且Polaris-4B可在消费级显卡部署，相关内容已全部开源。
腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍
随着大模型应用成本与延迟问题凸显，腾讯混元升级 AngelSlim 训练框架，将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍，还具全模态训练、面向部署等亮点，有开源代码。
7B小模型超越DeepSeek-R1：模仿人类教师，弱模型也能教出强推理LLM | Transformer作者团队
Transformer作者之一创立的Sakana AI带来新方法，让教师模型像人类教师一样做启发式教学，根据已知解决方案输出解释。用此方法训练的7B小模型在传授推理技能上比671B的DeepSeek - R1更有效。
VLM 实现 10%的精度提高，13.1倍加速！纽约大学新算法让视觉语言模型更小、更快、更准确
纽约大学研究团队用QSVD新方法让视觉语言模型（VLM）效率飞跃，在普通GPU上实现13.1倍加速。它将Q、K、V矩阵捆绑处理，设计秩分配策略，引入量化方案，经多模型评估，展现出低硬件成本、高精度优势。
GPT-5.2全力出击！碾压44类专业工作，实测编程同价位无对手、深度推理封神，但速度太拉胯了
GPT - 5.2 登场，有 Instant、Thinking、Pro 三个版本，在多方面大幅升级，能覆盖 44 类专业工作。它经济性强、编程能力佳、推理出色，但存在速度慢的问题，其价格 API 端有调整，未来还将推 Codex 优化版。
0.5B以小搏大拿下端侧模型新SOTA：4090可跑，长文本处理5倍常规加速丨清华&面壁开源
清华大学和面壁智能团队开源MiniCPM 4，有8B、0.5B两种参数规模，以22%训练开销达同级别最优。它在架构、推理、数据、训练多方面创新，性能领先，适用于综述生成、工具调用等场景。
智谱首秀工程实战经验！Coding Agent日均数亿次调用，GLM-5把长上下文推理的底层问题全逼出来了
今年 2 月智谱 GLM Coding Plan 上线后很受欢迎，随着用户和调用量上涨，Coding Agent 成压力测试场。4 月 30 日智谱发布博客，披露 GLM - 5 系列模型在超大规模 Coding Agent 调用场景下的底层推理技术突破及工程实践经验。
超越英伟达B200！AMD最强AI芯：1.6倍大内存、大模型推理快30%，奥特曼都来站台
AMD发布最强AI芯片MI350X和MI355X，号称大模型推理比英伟达B200快30%，内存是其1.6倍。该系列本月初已批量出货，还发布ROCm 7软件栈。AMD还预告明年推MI400系列，由其与OpenAI联合研发。
OmniInsert：全新无掩码视频插入技术
基于扩散模型的视频插入技术发展快，但以往方法有局限。字节提出InsertPipe和OmniInsert，解决数据不足等难题。OmniInsert设计巧妙，还建立评测平台InsertBench，虽有小问题，但推理快，可加速优化。
Karpathy加入Anthropic要做的事，被Google提前做了
Karpathy官宣加入Anthropic要组建新团队‘用Claude加速预训练研究’，话音未落，Google&Meta等发论文‘LLMs Improving LLMs’验证了该思路。论文让Claude Code搜索最优推理策略，结果全面超越人类设计。