搜索：推理加速技术

「推理加速技术」共找到 4926 篇相关文章

智能体时代EDA工具革新，比昂芯科技专注AI驱动电路仿真及Chiplets设计

近期，AI+芯片设计生成成全球资本热门赛道。比昂芯科技早在2024年就启动AI在EDA领域的底层技术探索，形成AI原生EDA完整技术闭环。其研发总监吴晨博士在IDAS 2026分享实践，公司还有四大核心产品及服务。

2025 年以来 AI Coding 技术发展迅速，但在复杂业务场景中存在诸多问题。文章基于 SDD 范式，构建由 Claude Code、CodeX 与 Gemini 协同驱动的工作流，介绍 SDD 理念、技术选型，详述多模型协作机制、工作流程与保障机制，分享实践步骤。

本文整理自网易游戏高级技术经理林香鑫分享，其团队通过代码知识谱图构建、多 agent RAG 召回等技术打造超级助手，在多业务场景落地效果好。还介绍知识工程、多 Agent 赋能代码编写、AI 审查等实践及未来展望。

近年来，大语言模型在复杂推理任务中面临挑战，强化学习虽更接近人类推理过程，但训练“烧资源”。论文《QeRL》提出量化不仅能压缩模型、节省资源，还能增强模型探索能力，QeRL框架实现训练速度提升、内存占用减半。

2025年AICon全球人工智能开发与应用大会6月27 - 28日在北京举办，50余家机构专家围绕AI Agent等前沿技术探讨落地实践与趋势。极客邦等企业代表分享应用布局，还有5大主题演讲、14个技术专场和50多个标杆案例。

字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。

本文围绕大语言模型智能应用中的工具与数据接入问题，介绍了基于 Agent + Function Call 的动态调度机制与基于 MCP 的标准化接入框架，分析了不同场景下的适用性，还探讨了二者未来的协同融合方向。

当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。

近期AI领域政策频出，企业对人工智能应用需求攀升，倾向私有化部署，但行业存在技术错配等问题。国内首部针对AI大模型私有化部署的标准《人工智能大模型私有化部署技术实施与评价指南》立项，正征集起草单位和个人。

昨天，英伟达发布专为海量上下文AI打造的CUDA GPU——Rubin CPX，将大模型推理带入「百万Token时代」。它性能强大，能带来高回报，可重写推理经济，还将得到英伟达全栈AI生态支持，预计2026年底可用。