「多Agent并行推理」共找到 4683 篇相关文章
【博客翻译】使用PyTorch加速生成式AI第四部分：Seamless M4T，快速优化
这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。
央企怎么做超级智能体？对谈中电信天翼AI：自研模型为底座，自主规划是必须，能适应千行百业才行
中国电信天翼AI发布星辰超级智能体，获2025企业级AI Agent榜单央企第一。它依托自研“星辰大模型”，具备全模态、复杂推理等能力。访谈专家指出智能体可直接产出应用，落地需嵌入主业系统，电信持续迭代模型优化它。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践
文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读，详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案，包括Prefill和Decode阶段的优化、通信优化、观测诊断等，并给出了评测结果。
读万卷书，大模型就能「看」懂视觉世界？Meta揭秘LLM视觉先验的起源
Meta超级智能实验室与牛津团队新论文发现，只见过文本的大语言模型（LLM）能学到可迁移到视觉任务的先验能力。研究通过超100组受控实验、耗费50万GPU小时，揭开LLM视觉先验来源，还给出预训练数据配方。
超越免训练剪枝：LightVLA引入可微分token剪枝，首次实现VLA模型性能和效率的双重突破
文章介绍LightVLA框架，它是用于提升VLA推理效率和性能的视觉token剪枝框架。针对VLA模型计算开销大、推理延迟高问题，提出两大创新，在LIBERO实验中性能超经典模型，还实现推理加速。
智谱 GLM-4.5 团队深夜爆料：上下文要扩、小模型在路上，还承诺尽快发新模型！
今日凌晨，GLM系列模型四位研发成员在Reddit的AMA活动中，回答了GLM系列技术细节、未来规划等问题。透露扩展上下文、推小模型是重点，还承诺尽快发新模型，也探讨了大模型发展观点。
模型一个没换，正确率翻了近三倍，这个项目有点东西啊！
GitHub开源项目AutoResearch用同一模型答题，其EvoMap蜂群模式使正确率近三倍于单Agent和常见Sub - Agent模式。它是多Agent评审系统，靠蜂群机制让AI自动科研，还有诸多防幻觉等特点，能用于多场景优化。
TPU vs GPU 全面技术对比：谁拥有 AI 算力最优解？
SemiAnalysis对Google TPU v7/v8深度拆解，将TPU与Nvidia GPU多方面对比拆到可计算层面。不过其结论有局限性，本文重新分析，指出TCO因场景而异，互联体系分歧在流量假设，Google TPU v8成本优势被削弱。
别指望你的组织能变得 AI Native
一家公司买企业级 AI 授权全员铺开，虽 88% 员工采用，但交付速度未变，仅 10% 的人烧掉 90% 的 Token。文章指出企业 AI 采用率指标荒诞，分析企业 AI 应用现状，还给出落地推进建议。