「推理优化与部署」共找到 3527 篇相关文章
解码加速15倍！EdgeRazor助推大模型在PC/移动端“狂飙”
大语言模型参数膨胀，端侧部署难，量化成主流轻量化方案。开源工具库EdgeRazor由南京大学和微软联合推出，采用MPQAD打破极低比特大语言模型“能力塌陷”，在性能、效率、易用性等方面表现出色，打通AI全生态链路。
让欧美老外彻底“真香”，这家中国割草机器人品牌正在定义一个行业新标准
在CES 2026上，未岚大陆发布割草机器人五大新品，呈现“Navimow标准”体系。其新品实现免部署自动建图，用EFLS™ LiDAR⁺三重融合定位系统应对复杂环境，以Xero - Turn™方案解决伤草问题，定义行业新标准。
深入解析多邻国的 FinOps 之旅：将云支出转化为工程洞察
多邻国在《每位工程师都该了解的 FinOps》中分享实践经验，将财务意识融入工程流程，用成本可视化机制让开发者了解成本影响，采用相关指标平衡创新与效率，借助工具优化成本，行业正从‘削减成本’转向‘数据驱动责任制’。
iPhone 17 Pro居然能跑8B大模型！
iPhone 17 Pro竟能跑8B大模型，如Qwen3 - 8B，推理较流畅。作者换机一是因eSIM，二为拍视频。其认为AI普及需端侧落地，此机芯片性能是好信号，盼出优质iOS客户端。
社区供稿丨MiniCPM-V 4.5 技术报告正式出炉
上个月开源的多模态模型 MiniCPM-V 4.5 广受好评，今日其技术报告出炉。报告从架构、数据和训练三方面探索高效路径，提出三大技术，使模型在多任务上突破，小参数规模下性能和推理速度佳。
OneSearch，揭开快手电商搜索「一步到位」的秘技
本文介绍快手提出的电商搜索端到端生成式框架 OneSearch。它有三大创新，包括 KHQE 模块、用户行为序列注入策略、偏好感知奖励系统。实验显示它在多方面提升显著，已部署于快手电商搜索场景。
一夜之间，Claude Code删掉了80%系统提示词
本周五，Anthropic 技术团队成员 Thariq Shihipar 介绍新一代大语言模型工程趋势变化。Anthropic 发现旧提示词工程范式在新一代强推理模型发布后或过时，新的 Claude.md 应精简，大砍系统提示词后可把特定任务上下文交给 Skill。
YOLOv8-SST：水面小目标检测极致改进，降低漏检
浙江水利水电学院董慧贞团队提出YOLOv8 - SST算法，针对水面小目标检测的噪声干扰、定位不准、泛化能力弱三大痛点分别改进。经实验，该算法提升了检测精度，推理速度也能满足实时需求，还给出了实战代码。
Kernel Design Agent(KDA) 的B200 GPU Kernel 编程准则 Skill
文章围绕 Kernel Design Agent(KDA) 的 B200 GPU Kernel 编程展开，介绍目标平台、架构参数，阐述独有特性与编程要点，给出关键性能准则调整方向，详述 16 条准则及特殊 Kernel 类型优化策略和编写前检查清单。
Claude有的，国产也有！紫东太初科研龙虾ScienceClaw，已经把Harness卷进实验室
Claude发布的Managed Agents让“Agent Harness”概念受关注，而国内紫东太初ScienceClaw早有相关思路并落地。它全链条覆盖科研，能7x24小时优化，具透明执行优势，还覆盖通用场景，架构有创新。