「自适应推理技术」共找到 4555 篇相关文章
让本地大模型不再重复推理的缓存技巧
本地跑大模型时,同样问题换说法问,模型又要重新推理。`constraint-cache`这个Python库可解决此问题,它将语义相似查询规范化为统一缓存键,实现近乎即时的重复查询响应,还避免了随机性响应问题。
LLM 技术在有道词典笔上的应用实践
本文围绕LLM技术在有道词典笔的应用展开。先分析端侧大模型落地挑战,如算力、功耗等。介绍有道词典笔等硬件及应用,对比端侧与云侧AI优劣。还阐述模型落地模式、算法优化及“子曰3数学模型”开源情况。
微前端:迈向现代化前端架构的社会技术之旅
文章指出微前端不仅是技术模式,更是组织工作新范式。介绍其适用场景、演进现有系统方法,处理路由等跨领域问题策略,还强调它能让前端独立于后端现代化,实现渐进式变革。
技术教科书:顶级开发团队设计的Harness工程项目源码什么样
本文深入剖析某顶级AI Agent研究团队的工业级Harness项目源码,涵盖项目全景、启动流程、工具系统等多方面,提炼构建顶级Harness工程方法论,还介绍隐藏彩蛋,展示团队技术实力与独特魅力。
AI研发新范式:基于技术方案全链路生成代码
文章指出过往代码补全方式存在局限,腾讯广告审核团队探索新AI开发范式。介绍业界AWS、Lovable范式,阐述审核团队实践范式,含定义、技术选型、过程标准化等,还提及进展、困难与未来展望。
吴晓波探展模力工场:开发者从技术到商业化的关键一跃
2025年9月25日,吴晓波在阿里云栖大会模力工场xAI交易所展台,指出AI应用落地痛点是连接问题。阿里云此前发布多项进展,模力工场承办“AI超级交易所”,其7个应用能解决企业痛点,还提供商业化加速服务。
LLM算力告急?把文本变图片,推理成本直接减半!
大型语言模型处理长文本时计算成本高,本论文探索‘文本即图像’输入压缩策略,将长文本渲染为图像输入多模态模型,可减少近一半令牌,且任务性能不受显著影响,在多任务中验证了其有效性。
深入理解OpenClaw技术架构与实现原理(下)
文章为《深入理解OpenClaw技术架构与实现原理(下)》,讲解各系统模块,如SandBox沙箱系统、记忆管理等,还介绍自进化、工作区与路由等机制,最后展望企业级智能体架构和应用方向演进。
微软深夜发布SambaY架构,Phi-4min加速10倍推理
微软基于Phi - 4 - mini微调出Phi - 4 - mini - Flash - Reasoning 3B模型,扩展到200064 tokens。采用新型SambaY架构,支持64K token上下文长度,运行速度比前代快10倍,有诸多优点。
北大开源统一世界模型框架:多类合成推理任务一套搞定
世界模型研究中,不同任务存在接口不统一等问题。北大DCAI课题组联合多方推出OpenWorldLib推理框架,整合多模态能力,构建标准化接口体系,在多任务上评估效果良好,降低研发门槛。