「吞吐量」共找到 46 篇相关文章
OpenAI公布首颗自研推理芯片成绩，下一代已进入制造阶段
8月25日，OpenAI公布自研推理芯片Jalapeño性能测试结果，首次给出其在多款公开大模型上的具体数据。该芯片在低功耗下实现高推理吞吐量和低延迟，性能超英伟达芯片，B0版已进入制造阶段。
Qwen3-Next全新架构，32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。
DeepSeek 复盘：128 天后，为什么用户流量一直在下跌？
文章深入分析DeepSeek和Anthropic策略，揭示行业计算资源稀缺难题。指出AI服务定价是延迟、吞吐量、上下文窗口三个指标的权衡，DeepSeek牺牲体验换研发，Anthropic提升‘智能密度’优化资源。
The Batch: 977 | AI 对速度的需求为何如此迫切
开发者如今需更关注AI速度。OpenAI和Cerebras的Ultrafast、Google的Gemini 3.7 Flash、Nvidia的Nemotron 3.5 Lightning都主打速度。速度在AI领域对应延迟和吞吐量，影响应用体验和范围。
破解MoE模型“规模越大，效率越低”困境！中科院自动化所提出新框架
大模型参数量飙升却陷入‘规模越大，效率越低’困境，中科院自动化所研究团队提出统一框架，直击MoE底层运作模式，让专家‘组队学习’，实现参数量、负载方差降低，达成三重优化。
SearchAgent-X: 打破效率桎梏，释放下一代「AI搜索智能体」的真正潜能
论文提出SearchAgent-X框架解决AI搜索智能体效率难题。研究剖析效率瓶颈，发现精度和延迟问题，提出优先级感知调度与无停顿检索技术，经评估大幅提升性能且不牺牲答案质量。
晶圆级芯片和存算一体结合：中科院提出15万tokens/s晶圆级芯片方案丨ASPLOS'26
当前大模型发展对计算硬件需求增长，数据搬运成隐性开销。中科院团队成果Ouroboros实现晶圆级芯片，解决数据搬运问题，虽面临挑战，但性能与能效表现显著，验证了“存算一体+晶圆级集成”路线可行性。
南开 && UIUC | SearchAgent-X，打破「效率瓶颈」，让复杂「AI搜索智能体」走向现实
南开大学和伊利诺伊大学厄巴纳 - 香槟分校的研究提出SearchAgent - X框架，解决大型语言模型驱动的搜索智能体效率痛点。它剖析制约效率的原因，通过两大‘加速引擎’优化性能，实验显示效果显著。
跨层压缩隐藏状态同时加速TTFT和压缩KV cache!
论文 UNCOMP 被 EMNLP 2025 主会接收，提出高效推理框架，用截断矩阵熵解释 LLM 稀疏化，据此设计 UNCOMP 框架，通过压缩隐藏状态优化 KV Cache，实现计算与内存联合优化，实验效果显著。
腾讯重磅开源：端到端文档转换VLM，中英文错误率双料最佳！
腾讯开源端到端文档转换视觉模型POINTS - Reader，可将文档图片转结构化文本。它基于POINTS1.5架构，支持中英文。在OmniDocBench基准上，中英文错误率暂列最佳，具零后处理简单等亮点。