「高效推理框架」共找到 3696 篇相关文章
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
AI Spot 学术分享会丨ICLR 2026 深度推理专场
当大模型走向深度推理，ICLR 2026 汇聚全球顶尖成果。OpenMMLab 等联合发起 AI Spot ICLR 2026 学术分享会，5 月 14 日 19 点直播，聚焦模型‘慢思考’，嘉宾将解读四大核心技术。
Agent 框架热潮褪去，大模型开发已经进入“生死局”？
蚂蚁开源发布《2025 ⼤模型开源开发⽣态全景与趋势》报告，涵盖 19 个技术领域 135 个项目，解读七大趋势。当下大模型开发生态如黑客松，项目兴衰快速，AI Search 式微、AI Coding 火热，三大技术领域也有变化。
LLM算力告急？把文本变图片，推理成本直接减半！
大型语言模型处理长文本时计算成本高，本论文探索‘文本即图像’输入压缩策略，将长文本渲染为图像输入多模态模型，可减少近一半令牌，且任务性能不受显著影响，在多任务中验证了其有效性。
苹果出手！改进GRPO，让dLLM也能高效强化学习
苹果研究团队针对扩散语言模型（dLLM）在编码任务中表现不明的问题，基于7B级代码生成MDM DiffuCoder展开研究，定制优化GRPO提出coupled - GRPO算法，填补开源dLLM训练和推理机制空白。
ThinkChain：一个让Claude边调用工具边思考的开源框架
ThinkChain是展示Claude高级能力的Python项目，其核心创新是将工具执行结果注入Claude思维流，改变AI与工具交互方式。它支持零配置启动，有丰富工具集，还具备交互式命令等特性。
GAN之父Ian Goodfellow病后归来，剑指高效世界模型
GAN之父Ian Goodfellow等提出，利用符号化表示和游戏虚拟世界数据，或为构建动作条件多模态世界模型最佳路径，该模型可支持长时序任务预测与规划，还探讨构建原因、数据来源等。
面壁智能开源 EdgeClaw，一款安全高效端云协同的龙虾 Agent。
当下AI Agent端侧常被忽视，数据任务都涌向云端致隐私泄露和算力浪费。近期面壁智能等联合开源EdgeClaw，以三级安全和性价比感知协同机制，解决OpenClaw数据泄露、token成本高等问题。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi - 4 - mini微调出Phi - 4 - mini - Flash - Reasoning 3B模型，扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行速度比前代快10倍，有诸多优点。
重塑AI记忆边界：MemOS开源！时序推理较OpenAI提升159%
近日，记忆张量等多家团队发布面向大模型的工业级记忆操作系统MemOS。它借鉴传统操作系统架构，实现AI记忆结构化管理，性能超OpenAI等方案，未来将成立社区、推进应用及持续迭代。