搜索：并行推理加速

「并行推理加速」共找到 2748 篇相关文章

GPT-5 不是技术新范式，是 OpenAI 加速产品化的战略拐点

文章从不同视角评价 GPT - 5，指出它是 ChatGPT 产品重要升级，是 Router 驱动系统。介绍其能力提升与短板，如 Vibe coding 性价比高但 Agentic 能力不足，还探讨了商业影响、价格战等，期待其 Agentic 能力发展。

南加州大学团队基于LoRA的强化学习训练1.5B推理模型，在AIME 24测试上性能提升超20%，成本仅9美元。开源Tina模型结合三大关键技术，与SOTA模型相比竞争力强，研究者还对其有效性提出假设。

通用人工智能公司 VAST 完成 5000 万美元 A 轮融资，由阿里、恒旭资本联合领投。该公司在 3D 领域成果显著，发布全新 AI 3D 大模型家族，还将重点投入世界模型研发和 UGC 互动内容平台建设。

PKINet - v2是改进的遥感目标检测模型，能处理复杂形状和尺度变化问题。它在PKINet基础上升级，统一条带与方形卷积，部署时折叠为单大核。在多数据集上精度和速度提升，可服务多领域，但对特殊目标仍有检测问题。

文章聚焦多模态长文档视觉问答，介绍现有LVLM - based和RAG - based技术路线及困境。提出MMRAG - DocQA方案，引入‘分层索引 + 多粒度检索’，设计双索引建模相关性与依赖，用互补策略实现证据互补。

当前市场对HBM和DRAM能否摆脱传统半导体周期性存争议。过去半导体周期由消费电子换机节奏驱动，而AI推理不同，大模型推理对内存依赖是硬约束，GPU更新对HBM需求几乎注定指数级增长。

大型语言模型在复杂推理任务中有‘无差别计算’缺陷，阻碍其在多场景应用。本文提出双层效率优化框架，梳理两类前沿技术，通过实验揭示瓶颈，为轻量化推理指明路径。

英伟达、MIT、浙大华人研究者联合推出TriAttention，核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性，保留关键部分。它使内存消耗降10倍，吞吐量提2.5倍，还提供vLLM集成和MLX实验性支持。

字节跳动与清华合作开源多模态时序大模型ChatTS，可实现时序数据对话与推理。它用合成数据训练，解决了数据稀缺等问题，在评估中表现远超基线模型，未来可拓展至更高阶任务。

近期，RAE 提出以「冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE，结合 RAE 与 VAE，能加速模型收敛、提升生成质量，展示扩散模型 Tokenizer 演化方向。