搜索：推理框架开发

「推理框架开发」共找到 4650 篇相关文章

24个Agent工作流框架用哪个? 11个维度全面评测

LLM发展推动自然语言理解进步，国产LLM密集发布。文章从功能能力和架构特性两维度，对24个智能体工作流框架全面评测，给出关键结论，还提及优化策略、应用领域等。

xAI上周五发布旗舰模型轻量化版Grok 4 Fast，推理成本直降98%。它通过强化学习在基准测试表现佳，有原生工具调用能力，采用统一架构，性价比高，或改写大模型竞争规则。

本文介绍DMS的数据分析智能体Data Agent，它从实验室走向企业生产一线，革新数据分析范式。文中剖析构建要点，对比与传统BI、高级分析差异，阐述技术内核优化及企业级能力，为开发实践提供参考。

介绍在校生开发的开源工具 HypoMux，它面向 Windows，能把多张网卡「绑」在一起，让下载任务多线路并行。有双模式可选，还能智能分流，兼容主流加速器。操作简便，可解决下载慢问题。

本文介绍阿里推出的ROLL强化学习框架，专为LLM训练优化。它设计灵活，不同用户可用其满足业务、探索或线上指标需求。在多任务训练中性能出色，还采用创新机制提升效率，支持自定义操作，适合学术和业务场景。

近期图像定制研究展示大规模生成模型潜力，但多数方法通用性有限。字节提出DreamO框架，支持多种图像定制任务，有特征路由约束机制，能解决特征冲突，还介绍其技术原理与各任务效果。

OpenAI发布首个开源大模型GPT-OSS，虽性能无惊喜，但设计思路有意思。其架构是经典延续，消息格式有巧思，支持三档推理模式，分词器有小进步，这些设计在实际应用和理论上有一定价值。

作者BBuf继上次分享后，又带来SGLang开发、debug新技巧。包括开启多线程加载模型权重，介绍SGLang Serve模型短期和长期崩溃的调试方法，还提及逐层NVTX Profiling、查看固定batch_size下Decoding性能等技巧。

彭博消息，DeepSeek正开发高级AI Agent模型与OpenAI竞争。此模型能在极少指令下执行多步任务并自我优化，计划Q4推出。此前该司模型表现佳，技术已在多领域落地，但构建AI Agent仍有挑战。

海外“AI Trading Battle”实验中，不同大模型交易表现差异大。港科大等团队提出RETuning方法，基于A股数据集验证，显著提升大模型金融预测准确率、推理可解释性，是综合改进方案，但有算力等局限。