「高效推理框架」共找到 3703 篇相关文章
Helidon 引入 Agent 能力，Java 框架开始内建 AI 编排
Oracle 发布 Helidon 4.4.0 版本，对齐 OpenJDK 发布节奏，纳入 Java Verified Portfolio。引入新核心能力、Helidon JSON 库，还增强与 LangChain4j 集成，支持智能体编排。
DeepSeek又拿第一！首创「因果流」视觉推理，超越Gemini
DeepSeek开源DeepSeek - OCR2，引入DeepEncoder V2视觉编码器，打破传统模型扫描限制，模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题，在多项测试中表现出色，还验证了「LLM作为视觉编码器」可行性。
下载量超 1300 万，昇思 MindSpore：AI 框架迈入“超节点时代”
开源五周年，昇思 MindSpore 成绩亮眼，下载量超 1300 万。它完善大模型、部署、科学计算等核心能力，还提出 HyperParallel 架构应对新挑战，正式版及套件明年上半年发布，未来社区将多方向推进。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
面向高效异构训推的统一通信库DeepLink DLSlime开源
上海人工智能实验室开源异构芯片通信库 DLSlime，作为 DeepLink 核心组件，它连接多应用和传输链路。具备异构互联、多链路支持等亮点，性能优于主流方案，已在实验室多个项目验证，还助力国产 AI 工具链发展。
文心新出的推理大模型，给了我们信心
在 WAVE SUMMIT 2025 大会上，百度发布文心大模型 X1.1，是 X1 升级版，发布即上线可免费体验。它在事实性、指令遵循、智能体等能力显著提升，全方位测评表现出色，还开源新模型，展现百度全栈 AI 实力。
搜索智能体也需要「操作系统」：SearchOS 开源多智能体协作框架
人大和蚂蚁的 SearchOS 研究，给出搜索智能体在长程任务中问题的答案。它借鉴数据库理念，做了多项核心设计，在开放信息检索基准评测领先，已提供多种使用方式，值得长程调研尝试。
构建分层的 Agentic RAG 系统：具备自主纠错的多模态推理
企业 AI 团队面临 RAG 系统在处理结构化与非结构化数据时的难题。本文探讨用分层多智能体编排解决“模态鸿沟”，介绍 Protocol - H 架构，阐述组件、机制、实现与集成，经基准测试验证其优势，还提及未来研究方向。
DeepSeek-V4发布！高效百万上下文智能普惠时代来了
DeepSeek-V4发布，是开源社区关键分水岭。它解决超长文本处理效率痛点，架构与优化有多项突破，降低算力消耗和成本，适配国产芯片，性能比肩顶级闭源模型，推动开源社区两大未来趋势。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。