「推理优化」共找到 3002 篇相关文章
硅谷前沿访谈：CUDA之父复盘英伟达20年护城河，揭开万亿算力帝国的底牌
奇点智能研究院院长李建忠采访了“CUDA 之父”Ian Buck，探讨 CUDA 20 年演进、英伟达技术产品及生态。Ian Buck 介绍了 AI 基础设施新阶段，阐述 CUDA 成功原因，还谈及英伟达软硬件协同、应对竞争等问题。
Soul App 又又又开源了！这次是实时交互数字人，支持小时级长视频甚至无限时长！
Soul App 新开源实时数字人项目 SoulX-LiveAct，解决 AR 扩散模型流式生成稳定性问题。它实现 20 FPS 实时流式推理，延迟 0.94 秒，支持无限时长，有恒定显存等亮点，可用于多场景。
太巅了！MIT老哥在Transformer里造了台计算机，LLM从此不需要调用外部工具？
LLM在数学推理表现佳，但纯计算是短板。MIT的Christos Tzamos团队在Transformer内造计算机，实现WebAssembly解释器，解决数独难题，还突破注意力机制瓶颈，打开软件与神经网络新接口。
FlashAttention-4正式发布：算法流水线大改，矩阵乘法级速度
深度学习领域底层优化技术FlashAttention更新至4版本。其核心作者称在Blackwell GPU上，注意力机制执行速度接近矩阵乘法。新算法克服瓶颈，在B200上性能提升，还获Pytorch官方支持。
Clawdbot国产芯片适配完成！清华特奖出手，开源框架直接一键部署
Clawdbot（现名OpenClaw）超火，不到一周GitHub达12万Star。但使用成本高，新开源的国产框架玄武CLI可让其在本地运行，适配国产芯片，还能降低成本，避免信息泄露。
劈柴哥和哈萨比斯亲自站台！谷歌世界模型Project Genie刷屏，幕后团队揭秘60秒不是极限，内存是巨大约束
谷歌发布世界模型原型 Project Genie，用一句话或图就能生成可玩交互的实时虚拟世界，由劈柴哥和哈萨比斯站台。它基于 Genie 3、Nano Banana Pro 和 Gemini 构建，解决了世界模型长期以来的短板，目前处于实验阶段。
“天下苦CUDA久矣！”KernelCAT率先掀桌，实现国产芯片无痛适配
中国AI产业与英伟达GPU及CUDA生态深度依赖，国产AI根基脆弱。KernelCAT作为AI Agent，能开发高性能算子，在昇腾芯片调优测试中表现出色，还能让国产模型在昇腾芯片上高效部署，实现35倍加速。
大模型的第一性原理：（二）信号处理篇
本文从信号处理角度解读大模型原论文，探讨语义向量化原理，分析 Transformer 与 Granger 因果关系。指出大模型输入 Token 语义嵌入是将自然语言处理转化为信号处理问题，向量化与信号处理、信息论联系紧密。
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。
企业级 AI Agent 的终极王牌：从 0 到 1 带你理解 “本体论” 与 6 块核心“积木”。
文章指出大部分企业Agent项目因幻觉、跑偏等问题失败，引出基于“本体论”的企业“本体”工程。介绍企业AI困境、现有工程手段不足，阐述本体可补企业“语义层”及构建本体的6块核心“积木”。