KV Cache流量」共找到 195 篇相关文章

8

谷歌公开全新极限压缩算法:LLM提速8倍、内存占用狂降6倍,精度零损失

谷歌推出全新量化算法 TurboQuant,瞄准大模型键值缓存吃内存、高维向量搜索算力瓶颈痛点,能砍内存、提速度且精度零损失。分 PolarQuant 和 QJL 两步,实验数据表现优异,将改变搜索格局。

AI寒武纪
开源动态8

斩获4.1K star,再见tcpdump!这款开源神器让网络分析快如闪电!

Kyanos是基于eBPF技术的开源网络分析工具,能透视Linux内核网络活动,解决分布式系统网络难题。它零配置、有内核级透视和智能流量解密能力,功能丰富,应用场景广,相比同类优势明显。

小华同学ai
新闻资讯7

谷歌·搜索:献给AI的第一个「祭品」?

谷歌正用AI重塑搜索,AI Overviews和AI Mode改变传统架构,从信息入口变终点,侵蚀开放网站流量。虽在AI创新有进步,但搜索广告垄断及商业模式岌岌可危,2026年或不复往昔。

新智元
开源动态7

个人开发者时代崛起!22岁印度开发者搞的业余项目被马斯克Groq看上,如今用户破6万

22岁孟买开发者Zaid Mukaddam开发开源AI搜索引擎Scira,定位为“Perplexity替代品”。项目初期走红,后因流量激增成本上升,获Groq等公司支持。如今用户破6万,其成功激励更多开发者。

InfoQ
新闻资讯7

meta收购manus的几点看法

探讨Meta收购Manus双方视角。Meta认为Manus有销售前景,想全吃利润;Manus因无流量属性、壁垒低、天花板低等因素,被收购或是好选择,还提及编程工具效用问题。

Agent的潜意识
算法论文7

Transformer与RNN合体,谷歌打下显存门槛,解锁超长上下文

谷歌论文提出 Memory Caching 技术,通过架构机制创新赋予 RNN「可生长的记忆容量」,兼顾 Transformer 与 RNN 优势,能处理更长文本、降低推理资源门槛,实验显示有良好效果。

机器之心
新闻资讯7

配置一改就要重启的时代结束了:Dev Proxy 2.1 正式上线

Dev Proxy团队发布2.1版本,围绕开发效率和本地测试体验更新,有配置热重载、stdio流量代理等新功能,还改进配置、性能及细节问题。Dev Proxy Toolkit 1.12同步发布。

InfoQ
推荐文章8

AI智能体的上下文工程:Manus的构建心得

季逸超在文章中分享了 Manus 构建 AI 智能代理的心得,包括围绕 KV 缓存设计、使用掩码管理工具、将文件系统作上下文等内容,还指出要保留错误信息、避免小样本带偏等。

AI工程化
新闻资讯7

AI狂欢,网站末日来了!互联网变现难,谷歌让点击惨遭灭顶之灾

2024年5月谷歌上线AI摘要功能,虽让搜索展示量涨49%,但网站点击量惨跌30%。多组数据显示网站流量锐减、收入萎缩,AI抓取频繁回报少,谷歌或自掘坟墓,引发互联网生态危机。

新智元
推荐文章7

一个任务50次调用,成本狂砍90%?Manus首次公开上下文工程秘诀,一堆反复重写换来的教训

Manus项目团队分享上下文工程秘诀。他们押注于此,使产品发布改进更快。还阐述围绕KV缓存设计、掩码非移除工具、用文件系统作上下文等原则,助构建AI Agent者少走弯路。

AI前线