「低延迟推理」共找到 2951 篇相关文章
独家丨雷军马云罕见握手，千寻智能30天完成30亿元融资
2026年4月7日，千寻智能完成10亿元融资，30天两轮累计30亿。雷军、马云旗下资本领投。其技术路线与国外Generalist AI吻合，数据采集有优势，还与京东、宁德时代合作，获资本青睐。
谷歌TPU能撼动英伟达吗？前TPU工程师首次揭秘
在AI算力争霸时代，英伟达GPU市值狂飙，但蛋糕正被分食。前谷歌TPU工程师Henry揭秘TPU，从架构、产能、软件等维度分析其优缺点，指出在特定条件下TPU可挑战GPU，未来芯片市场将百花齐放。
鹏城实验室 X 中大hcp实验室推出 RADAR : 具身智能评测的新标杆
RADAR是鹏城实验室与中大hcp实验室为具身智能领域设计的评测基准，解决现有评测体系三大缺陷，通过创新设计揭示模型不足，为研究者提供方向，推动具身智能实用化。
超越MLA！新架构MLRA百万token，解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。
GPT-5.4 发布，OpenClaw的能力要被取代？OpenAI 新模型不仅会自己用电脑，编程能力也拉满了
今天 GPT-5.4 发布，整合推理、编程及原生计算机使用能力。其原生电脑操作能力提升，与 OpenClaw 竞争。还带来工具搜索降成本、减少幻觉，编程能力增强但价格也升级。
IC产量增长10.9%、换道超车……今年“两会”的“芯”消息令人振奋
2026年全国“两会”进行中，“政府工作报告”显示2025年科技创新成果丰硕，如集成电路产量增长10.9%。代表委员对半导体等建言聚焦质的飞跃，还给出芯片产业化、算力布局等“解题思路”。
模型砍掉一大半，准确率反升15%！华科&阿里安全新研究实现ViT近乎无损的类特定压缩｜ICLR'26
华中科技大学联合阿里安全部提出Vulcan方法，一改传统压缩策略，通过“先训练再剪枝”实现ViT近乎无损的类特定压缩，为大模型服务小场景提供新路径，论文已被ICLR 2026接收。
三星研究院发布手机端侧大模型MeKi：基于Memory的LLM扩展新范式，支持旗舰手机端侧部署
三星研究院发布端侧大模型架构MeKi，提出用存储空间扩展模型容量、提升LLM性能的新范式。它利用手机ROM缓解内存压力，实现容量与性能提升。实验显示其性能、效率表现优，为边缘部署LLM提供新思路。
Google 发布 Gemini 3.1 Flash-Lite：每秒 363 tokens，百万 token 只要 $0.25
Google发布Gemini 3.1 Flash-Lite，输出速度达363 tokens/秒，比上一代快45%，首个token响应快2.5倍。价格降低，输入$0.25/百万tokens，输出$1.50/百万tokens。跑分不错，还有动态思考功能，支持多模态输入。
清华刘知远团队论文：最小化结构改动，短文本到长文本丝滑升级 | ICLR 2026
大语言模型发展中，上下文长度成关键瓶颈，主流架构计算开销大。清华刘知远团队提出《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》，提出可切换注意力框架，为长上下文研究提供新思路。