「并行协同推理」共找到 2542 篇相关文章
99%的AI产品都没有真正的护城河，初创产品需要做好「细分场景+生态协同」 | 对话AI播客工具Podwise
量子位智库对话Podwise创始团队，探讨AI播客工具发展。团队分享Podwise目标用户、场景、优势，如转录准、能识别声纹等。还谈及产品开发、付费、用户增长等策略，强调做好细分场景与生态协同。
腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍
随着大模型应用成本与延迟问题凸显，腾讯混元升级 AngelSlim 训练框架，将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍，还具全模态训练、面向部署等亮点，有开源代码。
7B小模型超越DeepSeek-R1：模仿人类教师，弱模型也能教出强推理LLM | Transformer作者团队
Transformer作者之一创立的Sakana AI带来新方法，让教师模型像人类教师一样做启发式教学，根据已知解决方案输出解释。用此方法训练的7B小模型在传授推理技能上比671B的DeepSeek - R1更有效。
GPT-5.2全力出击！碾压44类专业工作，实测编程同价位无对手、深度推理封神，但速度太拉胯了
GPT - 5.2 登场，有 Instant、Thinking、Pro 三个版本，在多方面大幅升级，能覆盖 44 类专业工作。它经济性强、编程能力佳、推理出色，但存在速度慢的问题，其价格 API 端有调整，未来还将推 Codex 优化版。
智谱首秀工程实战经验！Coding Agent日均数亿次调用，GLM-5把长上下文推理的底层问题全逼出来了
今年 2 月智谱 GLM Coding Plan 上线后很受欢迎，随着用户和调用量上涨，Coding Agent 成压力测试场。4 月 30 日智谱发布博客，披露 GLM - 5 系列模型在超大规模 Coding Agent 调用场景下的底层推理技术突破及工程实践经验。
超越英伟达B200！AMD最强AI芯：1.6倍大内存、大模型推理快30%，奥特曼都来站台
AMD发布最强AI芯片MI350X和MI355X，号称大模型推理比英伟达B200快30%，内存是其1.6倍。该系列本月初已批量出货，还发布ROCm 7软件栈。AMD还预告明年推MI400系列，由其与OpenAI联合研发。
商汤SenseNova U1深度拆解，原生统一架构终结缝合时代
文章深度拆解商汤科技开源的新一代模型「日日新 SenseNova U1」，介绍其基于 NEO - Unify 原生统一架构，在数据、训练与推理深度协同，多维度测试成绩亮眼，代表多模态从拼接走向原生建模新方向。
端到端智驾新SOTA | KnowVal：懂法律道德、有价值观的智能驾驶系统
北京大学王勇涛团队提出新型自动驾驶系统 KnowVal，通过感知与知识检索模块协同实现视觉 - 语言推理。它构建驾驶知识图谱，有价值模型用于轨迹规划，实验在多基准测试表现佳，还通过定性分析验证效果。
2 天斩获 3.5K 标星！GitHub 惊现神器！一个二进制文件把 DeepSeek V4 搬进终端
GitHub上的DeepSeek TUI项目开源两天获3.5K Star，它把DeepSeek V4模型搬进终端成编码智能体，有原生RLM并行推理等亮点，提供多种安装方式、支持多提供商，适合终端开发者。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。