「混合推理架构」共找到 3646 篇相关文章
基于MCP协议的12306购票搜索服务器项目解析（附配置流程）！
文章介绍基于MCP协议的12306购票搜索服务器项目12306 - mcp，涵盖功能特点、技术架构、服务原理、数据流程、工具及安装配置，还给出GitHub地址，助开发者提升购票查询体验。
字节开源了一款多模态神器！BAGEL上线，超越Qwen2.5-VL，媲美SD3！
多模态AI发展进入新阶段，字节跳动开源通用多模态大模型BAGEL。它支持多模态输入输出与思维链推理，性能超Qwen2.5 - VL等，安装使用友好，有多种应用场景。
大规模工程支撑场景下的多智能体系统设计：Grab 实践案例
Grab分析数据仓库（ADW）团队推出多智能体AI系统，处理数据仓库故障排查等工程请求，减少重复性运维。团队搭建多智能体架构，整合工具生态，考虑安全治理，解决上下文管理挑战，提升工作效率。
Pinterest 部署生产级模型上下文协议生态系统，赋能 AI 智能体工作流
Pinterest 工程团队搭建内部模型上下文协议（MCP）生态系统，驱动 AI 智能体，实现工程任务自动化。架构上线生产级服务器等，替换零散对接方式，让语言模型调用工具、访问数据，还能执行多种任务。
如何科学地“设计”SFT 数据？一次关于 ODA 的完整平台级验证
大模型后训练阶段，SFT数据构建常依赖‘直觉’或‘试错’。上海人工智能实验室OpenDataLab团队发布报告，基于OpenDataArena提出新范式，将数据集构建从‘随机艺术’变为‘确定性工程’，并进行平台级验证。
jiSGLang集成ktransformers：2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户，SGLang集成ktransformers的CPU内核，支持直接运行Kimi K2 Thinking模型。它无需等量化，还能微调，虽性能与GPU方案有差距，但给用户新选择。
首篇WebAgents综述：大模型赋能AI Agent，实现下一代Web自动化
互联网任务重复繁琐，香港理工大学研究人员从架构、训练和可信性等角度，总结WebAgents代表性方法，梳理研究进展。WebAgents能根据用户指令完成网页任务，其发展预示人机关系新纪元。
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。
下载量超 1300 万，昇思 MindSpore：AI 框架迈入“超节点时代”
开源五周年，昇思 MindSpore 成绩亮眼，下载量超 1300 万。它完善大模型、部署、科学计算等核心能力，还提出 HyperParallel 架构应对新挑战，正式版及套件明年上半年发布，未来社区将多方向推进。
超 10 万人都在看！Qwen3重塑文本嵌入与重排序技术版图
文本嵌入和重排序是NLP和信息检索关键组件。Qwen3 Embedding、Qwen3 Rerank模型基于Qwen3基础模型构建，有三种参数尺寸。文章介绍其架构、训练方案，还给出实战代码。