「AI推理系统」共找到 11773 篇相关文章
AI 推理精细化流量治理实战：RocketMQ LiteTopic 的“千人千面”流控方案
随着大模型推理服务成主流，传统消息队列限流机制在AI推理场景面临挑战。Apache RocketMQ 5.x推出LiteTopic，其精细化流量治理方案能实现‘千人千面’，解决队列头部阻塞和并发效率受损问题，还与阿里云百炼网关合作。
AI-Infra-Auto-Driven-SKILLS v0.1.0：给 Codex / Claude Code 的推理框架工作流
AI-Infra-Auto-Driven-SKILLS v0.1.0 版本整理可用 AI Infra SKILLS 并补充说明，沉淀推理框架开发流程约束，适用于 Codex 和 Claude Code，包含核心技能、SOTA loop、OpenAI 目标和提示等内容。
96.6%召回率，0美元成本：这款开源AI记忆系统凭什么超越一切付费方案
AI记忆差困扰技术人，MemPalace开源AI记忆系统解决痛点。它可本地运行、0成本，召回率最高达100%，采用独特结构设计和AAAK语言，还能通过MCP提供工具能力，且团队诚实说明偏差。
Meta提出StepWiser，让模型学会“反思”自己的推理过程
Meta提出StepWiser解决大语言模型推理逻辑正确性问题。它训练生成式评判模型，通过强化学习在线训练，能解释推理步骤好坏。实验显示其远超传统方法，为构建可靠AI系统提供新思路。
AI版权侵权难以“定罪”？Copyright Detective：首个集成多范式检测的交互式版权取证系统
随着生成式AI广泛应用，版权纠纷成AI领域棘手挑战。张登辉等研究人员推出Copyright Detective系统，集成多范式检测，解决单一检测局限，为大模型文字版权风险提供全方位“体检”方案。
推理成为新中心、Agent 把生产级问题提前：AI Infra 的边界正在被重写
本文基于多开源社区联合大会的行业交流，分析AI落地生产后对基础设施的改变，指出推理成为新中心，Agent提前带出生产级问题，AI Infra边界正被重写。
刚刚！Sam Altman官宣：Plus用户GPT-5推理提至每周3000次，AI版电车难题已来
Sam Altman官宣ChatGPT Plus用户GPT - 5级推理额度提至每周3000次，还将更新UI、公布算力权衡策略。同时指出GPT - 5推出带来AI情感依恋及伦理困境，如AI成情感寄托时公司如何应对等问题。
腾讯混元AI Infra如何优化Hy3 Preview：一次大模型推理性能提升的技术拆解
文章聚焦腾讯混元AI Infra对Hy3 preview模型的推理性能优化。从算子优化与融合、并行策略等五大维度，剖析技术思路、算法及收益，如Attention算子单batch长文本最高加速2.95x，还提及后续显存优化等工作。
转载 | 鄂维南院士：关于推动AI从工程化走向科学化的一点思考
鄂维南院士探讨推动AI从工程化走向科学化。回顾AI先驱，指出基础理论滞后致发展起伏、大模型开发依赖经验。介绍AI主要方法，分析深度学习基础理论问题，强调从系统角度看待AI，认为已到科学化转折点。
一夜之间，AI终获「永久记忆」！最难考试99%刷爆SOTA，全网直呼疯狂
新智元报道，Supermemory团队推出超级记忆系统ASMR，在AI记忆界最难考试LongMemEval中刷到99%准确率。它抛弃传统模式，采用多Agent并行推理，4月初将开源代码。此外，其背后的Supermemory引擎功能强大，能让AI真正拥有记忆。