搜索：工具链式推理

「工具链式推理」共找到 3783 篇相关文章

瘦身不降智！大模型训推效率提升30%，京东大模型开发计算研究登Nature旗下期刊

京东探索研究院大模型研究登Nature旗下期刊。其提出系统与方法，经四大创新使大模型推理提效30%、训练成本降70%。成果支撑JoyBuild平台，可帮企业将通用模型转化为专业模型，加速商业化落地。

近日，隼瞻科技完成近亿元天使+轮融资，多家知名战略投资人加入，老股东继续加持。该公司是国内唯一‘IP货架 + EDA工具’双轮驱动企业，自研平台可大幅缩短设计时长，成立三年已迈向规模化落地。

当下AI编程工具竞争激烈，大多存在闭源或绑定单一模型的问题。OpenDev是开源的终端AI编程Agent，用Rust编写，仅3.7MB。其论文详细解释设计决策，给出指令衰减问题的工程解法，还有多种实用设计。

企业级多智能体系统瓶颈常是负责分发任务的传统 Router 太“傻”，搞不定跨域、解不了冲突、跟不上变化。腾讯云开源 TCAR 智能路由模型，它先推理再选 Agent 集合，经多数据集评测表现出色，还提供完整开源范式。

多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。

蚂蚁上线AI健康管家APP——AQ，有超百项AI功能，连接超5000家医院、近百万医生等。它能追问识药看皮肤，打通硬件，设语音通话。凭借技术和生态优势，实现从技术工具到健康管家的跃迁。

当前传统 MoE 有专家激活不均衡问题，华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练，推理性能强，在 SuperCLUE 榜单千亿内模型并列国内第一，赋能业务落地。

8月大模型厂商多上调API价格或收缩免费额度，因推理需求增长跑赢算力供给。阿里发布Qwen3.8-Flash并开源，成绩亮眼且价格低。它是Qwen4架构预演，有四大技术创新，提升了模型效率。

作者分享将 Agent 工程化设计的历程。指出 LLM 做 Agent 有痛点，引入 CLI 接管确定性任务和上下文管理，还设计了 Workflow 串联工具，实现自动扩展和无缝互转，最后做 workflow - creator 形成自洽闭环。

随着大模型参数规模扩大，推理成本成核心瓶颈。投机解码在高并发下有问题，阿里与浙大学者提出 ECHO，将投机树构造建模为预算调度问题，通过稀疏门控和弹性预算调度提升系统收益。