「KV Cache流量」共找到 195 篇相关文章
追忆左耳朵耗子
本文追忆技术人左耳朵耗子，讲述其创业故事，包括创业契机、方向选择等，还分享技术见解，如选技术语言、积累技术等，探讨成长问题，如996、大小公司权衡等，最后推荐书籍并谈对年龄危机看法。
北大联合阶跃星辰提出TensorCast：统一可编程管理大模型张量，推理「首字延迟」最高降低93.2%
随着模型规模增长、新应用兴起，大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast，解耦张量状态，复用管理能力，在多场景测试中表现出色，为大模型基建提供新范式。
最具争议的 1 人 AI 公司融了 3000 万美金，估值达到了 2.5 亿
1人AI公司Polsia引发大量质疑，有人认为它是“垃圾产品”，指出其ARR统计、客户流失率等问题。但它刚完成3000万美金融资，估值达2.5亿美金，网站月流量超100万。
京东广告大模型实战：GRAM 架构如何在 50ms 内完成生成式推荐？
流量红利见顶，广告营销转型遇挑战。京东张泽华在大会公开应对方案，介绍 GRAM 架构，实现意图与商品语义对齐，控制推理时延，解决冷启动等问题，还分享算法与知识工程实践。
现在对开发者的定义，就像会写字的都叫书法家一样
作者对开发者定义感到困惑，如用扣子搭工作流、用秒哒产出网站也算开发者。AI 产品宣传覆盖大量开发者，造成泡沫，伤害真正开发者。还指出开发者痛点，给出做产品和发展的建议。
Meta 演示现场翻车的原因……让人好笑又心疼
Meta Connect大会上Meta Reality Labs演示翻车，原因是语音命令激活多人Meta AI，对开发服务器DDOS攻击，且MPK所有人被路由到该服务器，此外眼镜显示屏还有意外bug，这次翻车为行业提供了经验。
面向 AI Agent 的搜索服务，小宿科技有机会成为百亿美金的新巨头吗？
文章围绕AI搜索展开，分析微软Bing停用API原因，探讨小宿科技做Agent时代AI搜索服务的机会。从多方面剖析小宿优势，如全球通能力、贴合需求打法等，指出AI时代搜索是B端基建博弈。
时空压缩！剑桥大学提出注意力机制MTLA：推理加速5倍，显存减至1/8
在大语言模型发展中，Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA，结合时空压缩策略，提升推理效率，在多任务中表现出色，代码已开源。
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
AgentA/B：用AI模拟用户，真人AB测试或将成为历史
宾夕法尼亚州立大学和亚马逊合作研发AgentA/B测试框架，用大语言模型生成虚拟用户模拟真实行为，成本低、速度快，还能绕开真实流量测试。虽有人质疑，但它或改变传统AB测试。