搜索：推理缓存优化

「推理缓存优化」共找到 3061 篇相关文章

击败PI！星动纪元登顶具身奥林匹克，狂揽三项全球冠军

在具身灵巧操作奥林匹克赛事Benjie’s Olympics中，中国具身智能公司星动纪元斩获三项全球第一，超越美国明星公司PI。其自研VLA具身模型优势显著，且已在多领域落地应用。

作者分享使用豆包语音通话功能体验，发现它换了新语音模型 Seeduplex。该模型是原生全双工语音大模型，解决半双工问题，在复杂场景表现出色，还介绍其技术逻辑及对行业的影响。

奇点智能研究院院长李建忠采访了“CUDA 之父”Ian Buck，探讨 CUDA 20 年演进、英伟达技术产品及生态。Ian Buck 介绍了 AI 基础设施新阶段，阐述 CUDA 成功原因，还谈及英伟达软硬件协同、应对竞争等问题。

3月24日，LiteLLM的PyPI发布页面出现恶意版本，1.82.7和1.82.8被嵌入恶意代码。恶意代码会收集敏感文件、外传信息、进行横向移动。文章还给出检查、处理方法，此事件给开发者提了醒。

Soul App 新开源实时数字人项目 SoulX-LiveAct，解决 AR 扩散模型流式生成稳定性问题。它实现 20 FPS 实时流式推理，延迟 0.94 秒，支持无限时长，有恒定显存等亮点，可用于多场景。

LLM在数学推理表现佳，但纯计算是短板。MIT的Christos Tzamos团队在Transformer内造计算机，实现WebAssembly解释器，解决数独难题，还突破注意力机制瓶颈，打开软件与神经网络新接口。

OpenClaw曾引发安装热潮，如今因安全风险引发卸载潮。国家相关部门发布风险提示，网上出现卸载服务。而GenericAgent既能装也能卸OpenClaw，还能自我卸载，展现出硬核技术。

深度学习领域底层优化技术FlashAttention更新至4版本。其核心作者称在Blackwell GPU上，注意力机制执行速度接近矩阵乘法。新算法克服瓶颈，在B200上性能提升，还获Pytorch官方支持。

Clawdbot（现名OpenClaw）超火，不到一周GitHub达12万Star。但使用成本高，新开源的国产框架玄武CLI可让其在本地运行，适配国产芯片，还能降低成本，避免信息泄露。

谷歌发布世界模型原型 Project Genie，用一句话或图就能生成可玩交互的实时虚拟世界，由劈柴哥和哈萨比斯站台。它基于 Genie 3、Nano Banana Pro 和 Gemini 构建，解决了世界模型长期以来的短板，目前处于实验阶段。