算法论文8
北大等提出 TensorCast,推理首字延迟最高降 93.2%
机器之心
AI 摘要
北大联合阶跃星辰等提出 TensorCast,将张量生命周期管理从计算解耦,统一可编程管理张量。实验显示其能加速模型启动、达专业 KV 系统性能,多轮 Agent 场景首字延迟最高降 93.2%。
阅读原文 · 机器之心
北大联合阶跃星辰提出TensorCast:统一可编程管理大模型张量,推理「首字延迟」最高降低93.2%
随着模型规模增长、新应用兴起,大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast,解耦张量状态,复用管理能力,在多场景测试中表现出色,为大模型基建提供新范式。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
千问推电商Agent 开店成本大降
本文报道千问办公推出独立第三方电商Agent产品千问办公电商版,接入多平台主流电商工具,可帮商家实现跨电商平台经营管理,大幅降低开店试错成本,目前已面向商家开放邀测。
AI前线
推荐文章9
易宛尧:出海全环节值得AI重做
本文是Founder Park对出海服务商出海一叮创始人易宛尧的深度专访,内容涵盖易宛尧对当前AI硬件创业、品牌出海路径的判断,以及出海一叮用AI重构业务、打造AI Native组织的实践经验。
Founder Park
算法论文9
苹果LensVLM:长上下文的放大镜
本文介绍苹果基础大模型团队与杜克大学联合提出的LensVLM方案,针对长上下文压缩易丢失关键信息的痛点,提出将长文本压缩为图像、模型按需展开细节阅读的新思路,相关研究已被NeurIPS 2026接收,公开了模型、代码与可体验Demo。
机器之心
新闻资讯9
7人5个月 Anthropic造出Git替代品
Anthropic因AI编程规模暴涨,原有Git架构无法满足超大型单体代码仓库的需求,7人工程师团队借助Claude,耗时5个月从零开发出内部源代码控制系统Scion及配套工具,并完成全部迁移,本文分享了整套设计思路与工程实践。
机器之心