「通信开销」共找到 202 篇相关文章
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
python打造Google(A2A)+MCP，Langchain生态互补
文章介绍Google的Agent2Agent（A2A）协议，它能实现AI代理通信协作，打破平台孤岛。还提及MCP协议，二者互补。重点介绍python - A2A库，它实现A2A规范，与多框架、模型集成，给出实战示例。
0.5B以小搏大拿下端侧模型新SOTA：4090可跑，长文本处理5倍常规加速丨清华&面壁开源
清华大学和面壁智能团队开源MiniCPM 4，有8B、0.5B两种参数规模，以22%训练开销达同级别最优。它在架构、推理、数据、训练多方面创新，性能领先，适用于综述生成、工具调用等场景。
扩散模型自引导新范式：直接交换token就能变强！ | CVPR‘26 Oral
上海交大和vivo研究者提出自交换引导（SSG），不依赖文本条件、不加噪声、不改模型，只交换token特征。在多数据集实验中，SSG表现超现有方法。不过，其缺理论支撑、计算开销大。
OpenAI 又发布了一个新的AI Agent~
OpenAI发布新AI Agent Aardvark用于找代码漏洞，流程包括监控Git提交等，测试能发现92%已知漏洞。还公布AI浏览器Altas技术架构，采用进程隔离和IPC通信，启动快，但维护成本高。
SOTA级视频编辑新方法：无需训练一句话编辑视频，背景保持100%
传统视频编辑工作流被AI重塑，但现有AI方法存在问题，多源于反演 - 编辑范式。西湖大学AGILab提出无需反演和训练的FlowDirector，开销低、支持广且能100%保持背景，还采用新策略优化。
为训推加速！全新FlashQLA注意力算子库开源
自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。
把 RAG 做成主流的公司，现在开始“做空”RAG 了
Pinecone 曾将 RAG 定义成大语言模型 grounding 标准范式，如今却宣布 RAG 时代结束。它推出面向 Agent 的知识引擎 Nexus，提出“知识编译”概念，称能提高任务完成率、降低 token 开销，整个 AI 世界都在将“推理”往上游移动。
重构线性视觉Transformer，精度与效率双平衡 | CVPR'25
南洋理工、北航与合工大联合提出CARE Transformer，以非对称解耦建模局部与全局，降低计算开销、提升特征表达。实验显示其在移动端低延迟高精度，打破“效率与精度不可兼得”困局。
Thinking Machines 发布 Tinker API，实现灵活的模型微调
Thinking Machines公司发布Tinker API用于开放权重语言模型微调，可减少开发者基础设施开销。支持多种模型架构，集成LoRA，还发布开源存储库。虽有竞品，但Tinker侧重暴露低级原语，尚处封闭测试。