「混合推理架构」共找到 3631 篇相关文章
大语言模型的解耦：人工智能基础设施的下一轮进化
人工智能模型发展快，但基础设施滞后，传统单体式服务器架构成瓶颈。文章介绍大语言模型推理的预填充与解码阶段差异，指出解耦架构可突破困境，还阐述其经济影响、实施策略、应用案例及未来展望。
SGLang Hierarchical Sparse Attention 技术深度解析
阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架，介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈，以 DeepSeek DSA 集成测试，使推理性能大幅提升，目前项目处于开发阶段。
AI秒懂短视频，快手大模型Keye-VL理解力爆表！技术细节全开源
快手全新多模态大语言模型Kwai Keye-VL上线且开源，能深度融合多模态信息，在视频理解、复杂视觉感知和逻辑推理上表现优异。介绍了其技术架构、预训练和后训练策略及训练架构优化等内容。
Chain-of-Agents: OPPO推出通用智能体模型新范式，多榜单SOTA，模型代码数据全开源
OPPO个性化AI实验室团队推出智能体推理范式CoA及模型AFM，解决传统多智能体系统通信效率低等问题。AFM在近20项测试中刷新记录，降低推理成本，还介绍了架构、数据构建等，也指出待探索方向。
AI 原生应用全栈可观测实践：以 DeepSeek 对话机器人为例
本文以 DeepSeek 对话机器人为例，介绍 AI 原生应用架构可观测需求、挑战与方案实践。分析 AI 领域痛点，提出阿里云 AI 全栈可观测架构，剖析大模型应用可观测技术，分享实战案例，还给出未来规划。
The Batch: 859 | Qwen3 的自主智能新进展
不到两周前 Kimi K2 超越其他开源非推理模型，如今阿里巴巴发布基于早期 Qwen3 - 235B - A22B 的三款新大语言模型权重，介绍了输入输出规格、架构设计、性能表现、使用方式等，还进行了性能对比。
北大团队提出 SHINE：将任意文本转化为大模型 LoRA，仅需一次前向传播！
北大团队提出全新超网络架构 SHINE，仅需一次前向传播就能将任意文本转化为大模型 LoRA 参数，支持多轮对话。该方法实用潜力大、架构创新高效，训练流程成熟，推理快速，为大模型持续学习提供新思路。
蚂蚁·安诊儿医疗大模型：正式开源并登顶权威医疗榜单
近日，蚂蚁集团联合浙江省卫生健康委开源自研的蚂蚁·安诊儿医疗大模型。它基于蚂蚁百灵大模型架构，经深度训练，是参数规模最大的开源医疗模型。该模型在多评测中表现出色，有三阶段训练流程，架构高效、推理快，已开源助力行业发展。
高效Agents的尽头是，Harness
文章指出玩Agent久了会出现问题，很多人简单将其视为“模型+工具”组合远远不够。以OpenDev为例，介绍了Harness架构，包括核心理念、扩展ReAct循环、上下文工程等，还提及安全架构、多模型路由等内容。
Grab 订阅平台从 SQS 和 Redis 切换到 Temporal
Grab基于Temporal构建新的GrabUnlimited架构，增强用户体验，将订阅平台生产事件减少80%。原架构用SQS和Redis，随订阅者增多问题频出，新架构利用Temporal特性解决诸多难题。