「低延迟推理」共找到 2941 篇相关文章
Mamba-3惊现AI顶会ICLR 2026！CMU知名华人教授一作首代工作AI圈爆红
Transformer有力挑战者Mamba的最新版本Mamba-3进入ICLR 2026盲审。它有三大改进，在长文本处理、实时推理和成本优化有优势。此外，FBAM也从不同角度探索Transformer下一代框架。
8B硬刚72B！MiniCPM-V 4.5技术报告正式出炉
行业首个具备“高刷”视频理解能力的多模态模型MiniCPM-V 4.5技术报告发布，提出三项关键技术，使模型在多任务达同级SOTA，8B参数规模超72B模型，推理快，开源后获社区好评。
解码加速15倍！EdgeRazor助推大模型在PC/移动端“狂飙”
大语言模型参数膨胀，端侧部署难，量化成主流轻量化方案。开源工具库EdgeRazor由南京大学和微软联合推出，采用MPQAD打破极低比特大语言模型“能力塌陷”，在性能、效率、易用性等方面表现出色，打通AI全生态链路。
OpenAI突然发布Sora 2：好一个“AI版抖音”！
OpenAI重磅上新，带来依托Sora 2的“AI版抖音”——Sora iOS APP。Sora 2是音视频同步生成模型，更遵循物理定律、可控性强，还能注入现实元素。实测效果佳但画质低，Pro版可改善，后续还会发布API。
iPhone 17 Pro居然能跑8B大模型！
iPhone 17 Pro竟能跑8B大模型，如Qwen3 - 8B，推理较流畅。作者换机一是因eSIM，二为拍视频。其认为AI普及需端侧落地，此机芯片性能是好信号，盼出优质iOS客户端。
社区供稿丨MiniCPM-V 4.5 技术报告正式出炉
上个月开源的多模态模型 MiniCPM-V 4.5 广受好评，今日其技术报告出炉。报告从架构、数据和训练三方面探索高效路径，提出三大技术，使模型在多任务上突破，小参数规模下性能和推理速度佳。
一夜之间，Claude Code删掉了80%系统提示词
本周五，Anthropic 技术团队成员 Thariq Shihipar 介绍新一代大语言模型工程趋势变化。Anthropic 发现旧提示词工程范式在新一代强推理模型发布后或过时，新的 Claude.md 应精简，大砍系统提示词后可把特定任务上下文交给 Skill。
YOLOv8-SST：水面小目标检测极致改进，降低漏检
浙江水利水电学院董慧贞团队提出YOLOv8 - SST算法，针对水面小目标检测的噪声干扰、定位不准、泛化能力弱三大痛点分别改进。经实验，该算法提升了检测精度，推理速度也能满足实时需求，还给出了实战代码。
互联网免费数据已被吃光，普通人反馈早没用了？前英伟达工程师：Transformer的原罪浪费算力，聊天机器人把GPU全糟蹋了
前英伟达工程师、Sail Research 创始人 Neil Movva 认为当前 AI 行业陷“延迟陷阱”，AI 终局应是后台 Agent。他执行“算力拾荒者战略”，想降低智能成本，还指出 Transformer 架构有缺陷，互联网数据被吃光等问题。
能让DeepSeek自进化的Harness！LlamaFactory作者开源新工具：0.2元自动造Agent
LlamaFactory作者郑耀威团队开源的PenguinHarness，是全球首个支持多Agent自进化的Harness，能自动构建、评测和改进Agent。它成本低、速度快，适配众多模型，还有严格契约保障安全。已在生产场景应用，效果显著。