「AI推理加速」共找到 11324 篇相关文章
普林斯顿等高校提出AgentDistill：无需任何训练即可继承大Agent复杂能力，性能提升48%，成本降低90%
在AI领域，大型语言模型智能体计算需求大限制部署，传统蒸馏技术对智能体效果有限。AgentDistill提出解决方案，让学生智能体复用教师智能体的MCP工具包，无需训练继承复杂能力，小模型性能显著提升。
一天 15k 星，代码生成碾压 Claude，连 Cursor 都慌了？谷歌 Gemini CLI 杀疯了
谷歌发布 Gemini CLI，是其 AI 助手终端版，有慷慨免费使用配额。它开源且功能多，支持多平台。接入 Gemini 2.5 Pro 通用模型，开发者反馈其代码生成和修复能力强，谷歌在代码能力上提升明显。
一天 15k 星，代码生成碾压 Claude，连 Cursor 都慌了？谷歌 Gemini CLI 杀疯了
谷歌发布 Gemini CLI，有慷慨免费使用配额，开源且不到一天获 15.1k 星。它连接 MCP 服务器，具备 Agentic AI 能力，接入 Gemini 2.5 Pro 模型，在代码生成等方面表现出色，谷歌认为通用模型更优。
继AlphaFold之后，DeepMind再放“大招”：AlphaGenome直击疾病根源
谷歌DeepMind推出AI模型AlphaGenome，可预测DNA序列微小变化对基因调控的影响，已向非商业研究领域开放。它能处理长序列、输出高分辨率结果，有四大优势，在多领域有研究潜力，但也存在局限。
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
图解Vllm V1系列6：KVCacheManager与PrefixCaching
文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。
港科广等发布首个医学世界模型！精准模拟肿瘤演化，规划治疗方案
医学世界模型（MeWM）是创新AI系统，能模拟疾病演变、预测肿瘤变化，助医生术前评估治疗效果、优化方案。港科广等团队提出该模型，有肿瘤演变模拟等三核心贡献，在多方面实验表现佳。
2499 元产品背后：地瓜机器人将智驾 know-how 转为机器人新解法
AI重塑机器人技术边界，具身智能成新战场。地瓜机器人从地平线拆分，将智驾经验用于机器人。它提出大小脑分层架构落地更快，还推出RDK S100套件，搭建具身智能底座应对数据和应用难题。
机器人竞技赛事刷屏，宇树们抢的不止是流量
今年人形机器人赛事不断，宇树科技直播机器人格斗赛，众擎、加速进化也有相关赛事。企业借赛事抢流量，展示技术实力吸引开发者，打造机器人平台。但赛事娱乐性强，商业化难，企业需找刚需场景落地技术。
LangChain官方实测：多智能体架构怎么选？
构建AI Agent时，单智能体应对复杂场景易“变笨”且难维护。LangChain官方评测主流多智能体架构，在复杂零售场景实验，对比单智能体、Swarm、Supervisor架构的性能、成本，还给出优化Supervisor架构的方法。