「AI推理成本」共找到 11721 篇相关文章
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
图解Vllm V1系列6：KVCacheManager与PrefixCaching
文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。
港科广等发布首个医学世界模型！精准模拟肿瘤演化，规划治疗方案
医学世界模型（MeWM）是创新AI系统，能模拟疾病演变、预测肿瘤变化，助医生术前评估治疗效果、优化方案。港科广等团队提出该模型，有肿瘤演变模拟等三核心贡献，在多方面实验表现佳。
2499 元产品背后：地瓜机器人将智驾 know-how 转为机器人新解法
AI重塑机器人技术边界，具身智能成新战场。地瓜机器人从地平线拆分，将智驾经验用于机器人。它提出大小脑分层架构落地更快，还推出RDK S100套件，搭建具身智能底座应对数据和应用难题。
刚刚，Gemini 2.5系列模型更新，最新轻量版Flash-Lite竟能实时编写操作系统
谷歌更新Gemini 2.5系列模型，包括2.5 Pro和Flash稳定版及新推出的Flash-Lite预览版。谷歌CEO称Flash-Lite性价比高，适用于量大且注重成本的任务。报告还提及“智能体恐慌”现象。
小红书开源大模型dots.llm1，初次出手，小有惊艳！国外网友们又炸了……
小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。
18天光速打脸！OpenAI刚夸TypeScript最合适，转头就用Rust重写Codex CLI
OpenAI推出AI编码神器Codex，向ChatGPT Plus用户开放，还增加互联网访问功能。此前其宣布用Rust重写Codex CLI，该项目维护者Matin入职刚一年，半月前还称TypeScript最合适。改用Rust可带来多方面改进。
49.8亿元，寒武纪定增申请获受理
6月4日晚，寒武纪49.8亿元定增申请获上交所受理，这是其上市五年内第二次定增且金额最大。公司业绩增长，董事长陈天石介绍发展规划，定增或与AI浪潮有关，资金用于芯片和软件平台等项目。
阿里通义的视觉RAG革命！VRAG-RL：基于强化学习的视觉感知RAG框架，性能飙升30%
阿里巴巴通义实验室推出VRAG - RL，融合视觉感知、多模态推理与强化学习，已在GitHub开源。它破解传统RAG处理视觉数据难题，通过创新机制提升性能，在多数据集表现出色，还将向更拟人化和低幻觉方向发展。
Karpathy教你值回ChatGPT 200刀「票价」，初创工程师揭秘ChatGPT最核心能力
AI大神Andrej Karpathy用一张图教你选ChatGPT模型，给出使用指南，如简单问题用4o，困难问题用o3等。初创工程师Eric Hayes揭秘其背后复杂记忆系统，含保存记忆、聊天历史等，提升了用户体验。