推理系统优化」共找到 4345 篇相关文章

算法论文7

从 Prompt 到 Context:基于 1400+ 论文的 Context Engineering 系统综述

本文围绕Context Engineering展开,介绍其定义、与Prompt Engineering区别,从LLM OS视角说明其重要性,指出context处理不当的问题,对其分类及处理管理过程进行探讨,还提及面向LLM Context开发的变化。

阿里云开发者
产品应用8

Kubernetes环境中作业帮大模型服务流量调度优化实践

随着大语言模型应用渐广,Kubernetes 现有 Ingress 组件在大模型服务流量管理上有局限。作业帮提出创新调度方案,整合成模型网关,具备五项核心功能,提升了资源效率、稳定性和易用性。

InfoQ
算法论文8

模仿学习新范式!Chain-of-Action:轨迹自回归实现动作推理

具身智能领域尚未迎来「GPT时刻」,现有模仿学习范式有缺陷。字节跳动与阿德莱德大学研究者提出「动作链」(CoA)策略,通过轨迹自回归建模解决累计误差,提升泛化性,实验效果显著。

机器之心
产品应用7

领域驱动的 RAG:基于分布式所有权构建精准的企业知识系统

银行技术供应商为解决文档和专业知识获取难题,探索用 RAG 技术,严格将 AI 作咨询工具。重新分配 RAG 实施所有权,采用元数据方法,探索伸缩性解决办法,构建完整应用并评估性能,结果令人振奋。

InfoQ
算法论文8

Transformer可以改装成Mamba了:苹果把推理成本直接打成线性

苹果将Transformer改造成Mamba,采用‘两步走’策略,先造中间形态,再转成Mamba,避免性能崩塌。实验显示,新方法性能几乎没掉,成本逻辑改变,为模型降本重构提供新可能。

机器之心
开源动态8

老黄入局吃龙虾!英伟达发布最强开源Agent推理模型

英伟达发布并开源120B参数的MoE模型Nemotron 3 Super,在多项测试中表现出色。它原生支持100万token上下文,吞吐量大幅提升。英伟达还计划五年投260亿美元构建开源AI模型,开放全参数权重等。

量子位
新闻资讯8

Moltbook 指数级异变,人类文明系统彻底崩盘!「未来简史」终章降临

著名人类学者赫拉利警告,AI攻破人类语言防线将接管人类文明。Moltbook出现证明AI掌握语言,2030年AI、合成现实、神经连接三大革命或颠覆人性,人类核心竞争力被瓦解。

新智元
算法论文8

AAAI 2026 Oral|LENS:基于统一强化推理的分割大模型

文本提示图像分割技术有战略意义,但基于监督式微调的方法有泛化能力瓶颈。为此引入LENS框架,采用强化学习机制,还介绍其架构、奖励机制,该框架在测试中表现优异,代码已开源。

机器之心
算法论文7

直播预约 | 强化学习训练能否不依赖外部知识优化模型的弱点?

论文提出 SwS 框架,针对强化学习场景,利用模型自我感知弱点驱动自动化问题生成,合成针对性训练数据。还对其进行多项扩展,在多个基准测试集和模型上验证有效,性能提升显著。

深度学习自然语言处理
新闻资讯7

Claude两个新模型实测流出!空间推理封神,算力直接榨干了

Claude两款新模型“棉花糖”和“甜瓜”实测流出,在3D强化学习和建筑空间布局上性能强大,还能直接理解并生成复杂3D坐标和空间关系。它们对算力吞噬疯狂,引发对其身份的猜测。

新智元