「高效推理框架」共找到 3696 篇相关文章
斯坦福&SambaNova联手发布ACE框架：上下文即战力
文章介绍了斯坦福与SambaNova联手发布的ACE框架。它解决传统提示工程缺陷，将提示工程升级为智能体自我演化体系。通过“生成 - 反思 - 策展”闭环，实现上下文低成本、低延迟、高扩展演化，小模型搭配它能击败大模型+传统提示。
国产GPU首获全球顶级推理框架「原生门票」：MUSA合入SGLang主线
近日，摩尔线程举办「SGLang × MUSA Meetup」，分享与 SGLang 社区及 MUSA 生态协同进展。其 MUSA 后端已加入 SGLang 官方支持体系，代码合入主线，还在多方面取得成果，众多开源项目核心维护者参与探讨国产 AI 算力。
阿里：RL强化LLM推理，是技巧还是陷阱？
近年来，强化学习（RL）成为解锁大型语言模型（LLM）复杂推理能力的关键工具，但该领域也面临技术选择困境。阿里联合多所高校的论文通过大规模可复现实验，揭示主流RL技巧的机制与适用场景，还发现极简组合（Lite PPO）性能超越复杂方案。
24个Agent工作流框架用哪个? 11个维度全面评测
LLM发展推动自然语言理解进步，国产LLM密集发布。文章从功能能力和架构特性两维度，对24个智能体工作流框架全面评测，给出关键结论，还提及优化策略、应用领域等。
性价比搏击：Grok 4 Fast 推理成本直降 98%
xAI上周五发布旗舰模型轻量化版Grok 4 Fast，推理成本直降98%。它通过强化学习在基准测试表现佳，有原生工具调用能力，采用统一架构，性价比高，或改写大模型竞争规则。
字节开源DreamO，一个框架包揽多种图像定制需求
近期图像定制研究展示大规模生成模型潜力，但多数方法通用性有限。字节提出DreamO框架，支持多种图像定制任务，有特征路由约束机制，能解决特征冲突，还介绍其技术原理与各任务效果。
图解GPT-OSS：架构、消息格式与推理机制等
OpenAI发布首个开源大模型GPT-OSS，虽性能无惊喜，但设计思路有意思。其架构是经典延续，消息格式有巧思，支持三档推理模式，分词器有小进步，这些设计在实际应用和理论上有一定价值。
这个Coding Agent框架要火！Cursor、Claud太慢了
AI Agent赛道爆发，开发编码代理效率低。新出的jcode框架将Coding Agent功能整合，解决痛点，内存效率高、启动快、资源占用少，还能为开发者省80%底层开发时间。这是赛道成熟信号。
当 AI 下场炒 A 股，「推理」成了新的直觉
海外“AI Trading Battle”实验中，不同大模型交易表现差异大。港科大等团队提出RETuning方法，基于A股数据集验证，显著提升大模型金融预测准确率、推理可解释性，是综合改进方案，但有算力等局限。
AI生成苹果Metal内核，PyTorch推理速度提升87%
Gimlet Labs研究显示，AI能自动生成苹果芯片Metal内核，使PyTorch推理速度提升87%，在215个PyTorch模块上平均加速1.87倍。多个模型组合生成最优内核概率更高，不过研究对比方式遭质疑。