搜索：分布式推理系统

「分布式推理系统」共找到 3593 篇相关文章

96.6%召回率，0美元成本：这款开源AI记忆系统凭什么超越一切付费方案

AI记忆差困扰技术人，MemPalace开源AI记忆系统解决痛点。它可本地运行、0成本，召回率最高达100%，采用独特结构设计和AAAK语言，还能通过MCP提供工具能力，且团队诚实说明偏差。

香港中文大学提出全新算法框架RankSEG提升语义分割性能。传统方法用threshold或argmax生成掩码并非最优，RankSEG无需重训模型，加三行代码就能提高分割指标，还开源了工具包，其改进版RankSEG - RMA推理速度大幅提升。

近日，华中科技大学等联合团队推出首个模拟专家释读流程的人工智能系统AlphaOracle，辅助甲骨文破译。它整合多类资料，形成证据链，经专家评估，有较高评价且能节省分析时间。

外媒The Information曝出GPT-5诞生内幕，其未取得技术突破，OpenAI面临数据瓶颈与技术难题，核心研究者被撬导致组织架构混乱。不过，OpenAI获巨额融资，推理模型成突破口，还在开发“通用验证器”。

月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。

OpenAI 自 GPT - 2 后重新开源，此次连发两个推理模型 gpt - oss - 120b 和 gpt - oss - 20b。它们性能达 o4 - mini 水平，可在笔记本、手机运行，有宽松许可等亮点，在多测试中表现出色。

扩散大语言模型（dLLMs）有全局规划能力，但存在计算冗余。杜克大学陈怡然团队揭示其“草稿纸机制”，提出免训练方法DPad，结合现有技术，能在几乎无损精度下实现高达61.4倍推理加速。

AI-Infra-Auto-Driven-SKILLS v0.1.0 版本整理可用 AI Infra SKILLS 并补充说明，沉淀推理框架开发流程约束，适用于 Codex 和 Claude Code，包含核心技能、SOTA loop、OpenAI 目标和提示等内容。

香港中文大学等团队发布AI记忆机制综述，首次构建统一框架，划分记忆类型，提出六种操作，探讨关键主题，还对比人类与AI记忆，指明未来AI记忆系统需突破瓶颈，迈向认知跃迁。

UC伯克利华人团队发现，LLM不靠外部奖励，仅靠「自信爆棚」就能学会复杂推理。他们提出基于内部反馈的强化学习（RLIF）新范式，用INTUITOR方法让模型用自身置信度作内在奖励，在多任务中表现良好。