「分布式推理系统」共找到 3593 篇相关文章
模型遗忘不代表记忆抹除！首次系统发现「可逆性遗忘」背后规律
研究人员发现大语言模型遗忘并非简单信息删除，可能藏于内部。他们构建表示空间诊断工具，区分可逆与不可逆遗忘，揭示真正遗忘是结构抹除。还在多种方法、数据集和模型上实证，得出系列结论。
英伟达MIT出手！华人团队重磅开源，大模型推理内存暴降10倍
英伟达、MIT、浙大华人研究者联合推出TriAttention，核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性，保留关键部分。它使内存消耗降10倍，吞吐量提2.5倍，还提供vLLM集成和MLX实验性支持。
国产GPU首获全球顶级推理框架「原生门票」：MUSA合入SGLang主线
近日，摩尔线程举办「SGLang × MUSA Meetup」，分享与 SGLang 社区及 MUSA 生态协同进展。其 MUSA 后端已加入 SGLang 官方支持体系，代码合入主线，还在多方面取得成果，众多开源项目核心维护者参与探讨国产 AI 算力。
具身智能体操作系统PhyAgentOS，赋能全球Physical AI 技术挑战赛冠军
2026年4月27日，中山大学HCP实验室研发的PhyAgentOS开源框架，助力11岁开发者Arjun获全球Physical AI技术挑战赛冠军。该框架降低开发门槛，打通执行闭环，加速具身智能落地。
YC总裁开源个人AI记忆系统GBrain：让你的OpenClaw/Hermes长脑子
YC总裁Garry Tan开源GBrain，这是经实战检验的AI记忆中枢。它有真实数据规模、混合搜索架构等特点，核心工作流含实体检测等。技术选型有考量，还提供体验方式和技能包文档。
Nature子刊：港大等首提下一代AI硬件系统，能耗锐减57.2%
港大、港科大与西电团队登上Nature子刊，攻克存算一体架构中模数转换器（ADC）能耗高难题。利用忆阻器可编程特性打造“智能标尺”，使AI芯片功耗降57.2%、面积缩30.7%，为下一代AI硬件开辟新路。
“扁平+拓扑”双索引，85页PDF"秒级"推理，MMRag幻觉率骤降76%
多模态长文档视觉问答常见于科研论文等场景，现有技术路线有大视觉 - 语言模型直接端到端和检索增强生成，但各有缺点。MMRAG - DocQA引入新方案，解决多模态连接和跨页证据链接问题。
生成式推荐！推荐系统新范式还是新噱头？【文末抽现金红包】
文章探讨生成式推荐是新范式还是噱头。分析其与判别式推荐区别、效果收益来源，结合Meta GR、快手OneRec实例，指出其有提升但非万能，不同团队应按需选择，还提及可能带来架构革新。
并行革命，32倍吞吐量跃升！英伟达Helix架构突破百万Token推理瓶颈
英伟达推出受DNA结构启发的Helix并行技术，能解决大模型处理长任务时的卡顿问题，提升上下文长度、并发能力并降低响应延迟。不过也有人认为其技术与实用性有差距。
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。