零延迟」共找到 539 篇相关文章

算法论文8

Kimi新架构让马斯克叹服!17岁高中生作者一战成名

17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术,将注意力机制“旋转90度”。该技术可让模型“回头看”,经Kimi Linear 48B大模型验证,训练效率提升25%,推理延迟增加不到2%。

量子位
新闻资讯8

0行人类代码!OpenAI内部绝密实验曝光:3人团队5个月砸出百万行级产品

OpenAI工程团队进行内部实验,构建并发布人类代码的内部软件产品,代码全由Codex智能体编写。团队分享开发经验,如重新定义工程师角色、让应用对智能体可见等,还面临一些未知挑战。

AI寒武纪
产品应用7

AI 互动游戏的 GPT 时刻到了!谷歌Genie 3首测!太牛了!

谷歌去年发布世界模型Genie 3,支持实时生成可交互视频内容,因成本高未开放。现美国18岁以上Ultra用户可试玩,其操控延迟低、画面清晰、物理交互真实,还介绍了操作流程等。

歸藏的AI工具箱
算法论文8

Meta&UIUC大发现:无需标注,Agent复杂的工具使用和搜索能力,是可以“无中生有”的

Meta和UIUC研究发现,无需标注,Agent复杂工具使用和搜索能力可“无中生有”。论文Dr. Zero让大模型自我博弈成搜索专家,用HRPO提效,设计难度导向奖励,实验表现佳,但也存在局限。

深度学习自然语言处理
开源动态8

SGLang 优化Triton FusedMoE 的一个新技巧​

蚂蚁在SGLang中提交优化PR,针对Fused Triton MoE的Down Projection kernel加入TMA优化,在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著,还详细分析了优化背景、思路、实现细节及测试结果。

GiantPandaLLM
算法论文8

超越免训练剪枝:LightVLA引入可微分token剪枝,首次实现VLA模型性能和效率的双重突破

文章介绍LightVLA框架,它是用于提升VLA推理效率和性能的视觉token剪枝框架。针对VLA模型计算开销大、推理延迟高问题,提出两大创新,在LIBERO实验中性能超经典模型,还实现推理加速。

机器之心
新闻资讯7

a16z:AI Coding 产品还不够多

a16z两位合伙人发文称AI应用生成平台不是太多而是太少。该领域发展如基础模型竞争,非赢者通吃,各平台找差异化共存。不同水平用户有定制平台,还应垂直细分。

Founder Park
新闻资讯7

AI浪潮下的算力租赁:欺诈套利、资本炒作、主体脱钩

AI浪潮下,算力租赁市场乱象丛生,有上市公司‘炒概念’推高股价,消纳方套壳毁约‘成本’,租赁方为订单内卷。不过,市场也在自我调整,国家也有调控举措,行业有望回正轨。

芯师爷
产品应用8

鸿蒙元服务的“体验密码” | 从京东到深圳万象城,看技术底层如何让服务直达用户

AI时代,系统能感知用户场景与需求,主动推送服务。鸿蒙元服务解决用户体验痛点,其技术底座帮开发者“减负”。如京东复用代码,深圳万象城优化停车服务,还为中小商户提供代码开发方案。

InfoQ
算法论文8

大模型推理也能“智能调度”:让奖励模型按需分配算力的动态路由机制 | ACL 2026

生成式奖励模型(GRM)推理策略存在算力浪费问题。腾讯混元与新南威尔士大学联合提出 E - GRM 框架,将模型不确定性定义为调度信号,按需推理。文章从多维度解读该框架,并展示实验评估结果。

InfoQ