搜索：高效推理框架

「高效推理框架」共找到 3696 篇相关文章

先验+后验加持，大模型能否 hold 住推理预测的现实「溢出」？

多数大模型评估基准依赖固定数据集，难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准，将重点移至动态预测能力。实验显示不同模型在不同任务表现有别，大模型在现实场景运用仍待优化。

OpenAI推理模型第一人Jerry Tworek离职不到一个月就创业，新公司Core Automation计划筹集10亿美元，要做具备「持续学习」能力的新型AI模型，解决主流模型‘训完就上线’、能力固定的问题。

本文提出M+长期隐空间记忆扩展框架，在MemoryLLM之上，将8B级模型有效记忆跨度从不到20k提升到160k+，显存占用不变。它解决了现有记忆模型冗余、冲突难解等问题，为下一代语言模型提供支撑。

腾讯AI Lab提出WebEvolver框架，引入协同进化的世界模型，让智能体在真实网页环境中性能提升10%，突破现有基于LLM的网页智能体瓶颈，还通过实验验证了其有效性和对网页状态变化的预测能力。

麻省理工、慕尼黑工大及斯坦福AI实验室发布GeoEvolve框架，深度融合地理知识与进化算法，实现复杂地理空间模型自动发现与优化。经实验验证，其性能超越以往基准，有望在多领域发挥作用。

乐鑫开源首个物联网设备Agent框架ESP - Claw，用C语言重写。它核心理念是对话即创作，可让用户通过聊天定义硬件行为。具备运行效率高、内存占用低等特点，还有多种功能及良好的生态适配性。

TradingAgents是模拟真实交易公司运作的多智能体交易框架，用LangGraph构建，有灵活性与模块化特点。由7种LLM驱动的专业智能体协同评估市场、制定决策，还介绍了架构和实战操作。

最新爆火论文颠覆传统RL训练认知，华盛顿大学等团队证实「伪奖励」可让LLM推理性能提升。研究设置多种伪奖励形式实验，发现其对Qwen模型有效，但并非对所有模型都有效。

5月25日，面壁开源端侧文本基座大模型MiniCPM5 - 1B，主打低成本部署等。它由AI编写的ForgeTrain框架参与预训练，效果与英伟达Megatron对齐且速度快10%。该模型在榜单表现优，应用边界广，部署门槛低。

Qwen团队等最新研究打破传统认知，揭示‘对齐税’现象。提出置信解码策略，在多架构、评测集上表现出色，能绕过‘对齐税’，提升推理准确率，且工程开销低，为大模型发展提供新思路。