「推理加速技术」共找到 4890 篇相关文章
高通要发两款AI推理芯片，资本市场反应强烈
高通周一宣布明年推AI200芯片，2027年跟进AI250，股价应声上涨。两款芯片基于移动神经处理技术，专攻AI模型部署，沙特AI公司已计划采用，高通想借此进军AI芯片市场。
逆强化学习全新视角的大模型对齐技术
文章从逆强化学习（IRL）视角回顾LLM对齐进展。先介绍强化学习基础及挑战，将LLM生成过程化为MDP，探讨无奖励函数的MDP，说明需神经奖励模型，还阐述通过奖励建模实现IRL及多种优化方法。
斯坦福开源复杂推理AI Agent，融合超10种工具
传统AI助手应对复杂任务能力有限，斯坦福开源OctoTools，这一复杂推理AI Agent融合11种工具。它在16项基准测试中准确率高，能应对多领域复杂场景，框架含工具卡片、规划器等构件。
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
LLM 技术在有道词典笔上的应用实践
本文围绕LLM技术在有道词典笔的应用展开。先分析端侧大模型落地挑战，如算力、功耗等。介绍有道词典笔等硬件及应用，对比端侧与云侧AI优劣。还阐述模型落地模式、算法优化及“子曰3数学模型”开源情况。
微前端：迈向现代化前端架构的社会技术之旅
文章指出微前端不仅是技术模式，更是组织工作新范式。介绍其适用场景、演进现有系统方法，处理路由等跨领域问题策略，还强调它能让前端独立于后端现代化，实现渐进式变革。
技术教科书：顶级开发团队设计的Harness工程项目源码什么样
本文深入剖析某顶级AI Agent研究团队的工业级Harness项目源码，涵盖项目全景、启动流程、工具系统等多方面，提炼构建顶级Harness工程方法论，还介绍隐藏彩蛋，展示团队技术实力与独特魅力。
AI研发新范式：基于技术方案全链路生成代码
文章指出过往代码补全方式存在局限，腾讯广告审核团队探索新AI开发范式。介绍业界AWS、Lovable范式，阐述审核团队实践范式，含定义、技术选型、过程标准化等，还提及进展、困难与未来展望。
LLM算力告急？把文本变图片，推理成本直接减半！
大型语言模型处理长文本时计算成本高，本论文探索‘文本即图像’输入压缩策略，将长文本渲染为图像输入多模态模型，可减少近一半令牌，且任务性能不受显著影响，在多任务中验证了其有效性。
深入理解OpenClaw技术架构与实现原理（下）
文章为《深入理解OpenClaw技术架构与实现原理（下）》，讲解各系统模块，如SandBox沙箱系统、记忆管理等，还介绍自进化、工作区与路由等机制，最后展望企业级智能体架构和应用方向演进。