「推理框架开发」共找到 4661 篇相关文章
下载量超 1300 万，昇思 MindSpore：AI 框架迈入“超节点时代”
开源五周年，昇思 MindSpore 成绩亮眼，下载量超 1300 万。它完善大模型、部署、科学计算等核心能力，还提出 HyperParallel 架构应对新挑战，正式版及套件明年上半年发布，未来社区将多方向推进。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
文心新出的推理大模型，给了我们信心
在 WAVE SUMMIT 2025 大会上，百度发布文心大模型 X1.1，是 X1 升级版，发布即上线可免费体验。它在事实性、指令遵循、智能体等能力显著提升，全方位测评表现出色，还开源新模型，展现百度全栈 AI 实力。
MCP Registry 预览版上线：AI 开发的统一服务目录
Model Context Protocol 推出 MCP Registry 预览版，这是开放的 MCP 服务器目录和 API，可改善服务器可发现性。注册表开源，分公共和私有子注册表，采用社区举报机制，设计类似 Docker Registry。
OpenAI深夜开源HealthBench，60个国家合力开发5000段真实对话
今天凌晨1点30，OpenAI开源医疗大模型测试评估集HealthBench。其5000段核心测试对话由60个国家/地区的262名医生打造，采用多轮对话测试。测试显示大模型在医疗保健领域表现显著提升，还介绍了其构建及评估等情况。
搜索智能体也需要「操作系统」：SearchOS 开源多智能体协作框架
人大和蚂蚁的 SearchOS 研究，给出搜索智能体在长程任务中问题的答案。它借鉴数据库理念，做了多项核心设计，在开放信息检索基准评测领先，已提供多种使用方式，值得长程调研尝试。
构建分层的 Agentic RAG 系统：具备自主纠错的多模态推理
企业 AI 团队面临 RAG 系统在处理结构化与非结构化数据时的难题。本文探讨用分层多智能体编排解决“模态鸿沟”，介绍 Protocol - H 架构，阐述组件、机制、实现与集成，经基准测试验证其优势，还提及未来研究方向。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。
花几百万开发布会结果无人问津？或许你该看看这个…
2025年科技公司意识到技术需被看见。发布会等传统传播方式遇冷，科技内容融入生活日常。抖音在科技传播竞争中站到中央，通过创作者视频让技术直观呈现，解决企业从产业到大众认知转化难题。
AI精准编辑门槛大降：开源框架提升编辑一致性，即插即用
近日，中山大学、香港中文大学等团队发布研究成果ProEdit。它通过对注意力机制和初始噪声潜在分布处理，实现高精度图像与视频编辑，无需训练、即插即用，解决编辑效果与一致性平衡难题。