搜索：混合推理架构

「混合推理架构」共找到 3661 篇相关文章

AI Infra 工程师们如何应对大模型流水线里的“暗涌”？

InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。

AI智能体重塑软件工程，研究团队分析138场演讲发现搭建时精力多花在工程集成和接口对接。文章结合推理模型与人工校验，介绍企业引入智能体的架构策略、演进历程、应用差异及技术底座等内容。

大语言模型手动调参解码繁琐，腾讯AI Lab王琰团队联合港中大（深圳）唐晓莹教授团队推出AutoDeco架构，通过创新训练策略让模型动态预测解码参数，在多模型实验中表现出色且已开源。

月之暗面团队的Kimi Linear模型，是混合线性注意力架构，核心是Kimi Delta Attention模块。它解决线性注意力的记忆及遗忘问题，在多任务测试表现出色，还开源相关资源，推动高效长上下文模型研究。

现有AI智能体在真实场景表现不稳定，阻碍其应用走向生产。ART开源强化学习框架诞生，通过分离“前端”与“后端”、兼容OpenAI推理端点等创新化解困境，还给出使用方法，在案例中展现强大效能与经济性。

Moonshot AI发布Kimi K2大语言模型，采用混合专家架构，总参数量达1万亿。其有多项技术创新，在多个基准测试表现突出。发布两版本，用修改版MIT协议开源，vLLM、SGlang首发支持，已上线多服务。

香港大学黄超教授团队开源多模态智能处理系统RAG - Anything，突破传统RAG技术单一文本局限，整合多模态文档解析等核心能力，解决现有RAG系统痛点，具备多方面技术亮点，有便捷部署方式和多场景应用模式。

文章以高盛数字化架构设计为例，探讨AI时代技术分析的能力迁移。指出AI使信息采集整合成本降低，技术分析重心从找信息转向构建模型，建模仍是洞察主战场，AI可加速知识铺垫，但模型切换需人类完成。

Claude Skills 是为 AI 设计的「技能包」，能把复杂任务指令打包。作者认为其信息分层设计哲学是关键突破，以《塞尔达传说》为例，介绍了信息分层和按需加载理念，还阐述了三层架构及应用案例、挑战和通用原则。

近年来，基于可验证奖励的强化学习（RLVR）在提升大型语言模型（LLM）推理能力上有关键作用，但存在熵崩溃问题。论文提出SVS创新策略，让模型自我合成变分问题形成自我提升循环，实验效果惊人。