「动态混合专家架构」共找到 1009 篇相关文章
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。
突破传统检索瓶颈！阿里通义实验室发布 WebDancer，开启多步推理智能体新范式!
在信息爆炸时代，传统检索技术缺乏动态决策能力，难以满足多步推理需求。阿里通义实验室发布的 WebDancer 基于 ReAct 框架，通过四阶段构建，在测试中表现优异，未来规划拓展工具生态、突破任务边界等。
ACL2025 | 抓出0.1%的捣乱分子压缩方法OTT：近乎无损 超越KIVI，内存减6.4倍 吞吐量提2.3倍
LLM生成文本时KV Cache内存占用高，限制模型批量处理能力。论文提出OTT方法，动态追踪异常令牌单独高精度保存，其余压缩。实验显示，它准确性高、效率好，不过在极短文本等场景有局限。
低延迟、高吞吐，LLM优化与高效推理引擎综述
LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
6个Claude Code神作，Anthropic亲选
Claude 官方晒出一批来自普通用户的 Claude Code 「神作」，覆盖实用工具、可视化创意和趣味应用等领域，如人脸涂鸦、医学影像查看器、代码库动态图等。这些项目反映出 Claude Code 正走出传统编程场景。
凌晨，OpenAI 与亚马逊云科技史上最大联合发布来了
4月29日凌晨，OpenAI与亚马逊云科技联合发布多个新动态，如OpenAI旗舰模型进Bedrock预览、Amazon Bedrock Managed Agents预览等。双方合作让Agent有持久化记忆，还推出多项产品，亚马逊云科技成MaaS一极。
QCon 2026 北京站收官：以 AI 之力，重塑软件工程新生态
4月16 - 18日，QCon全球软件开发大会·北京站（2026）举办，超2000人参与。极客邦赵钰莹点明企业AI落地要点；黄东旭等专家分享见解，探讨软件变革、安全等；还有25个专题及展区展示，后续接力6月上海AICon。
OpenAI突然封锁最强GPT-5.4！3000个致命Bug瞬间蒸发
OpenAI在Claude Mythos泄露一周后，祭出专门为安全防御微调的GPT-5.4-Cyber，仅网络安全专家可用。还升级网络安全“信赖访问计划”。其战略有三原则，Codex Security已修好超3000个高危和致命漏洞。