「内核延迟」共找到 290 篇相关文章
英伟达自毁CUDA门槛！15行Python写GPU内核，性能匹敌200行C++
英伟达发布CUDA 13.1，称是自2006年诞生以来最大进步。推出CUDA Tile编程模型，能用15行Python代码实现200行CUDA C++代码性能。芯片界传奇Jim Keller质疑其会终结CUDA“护城河”。
北大联合阶跃星辰提出TensorCast：统一可编程管理大模型张量，推理「首字延迟」最高降低93.2%
随着模型规模增长、新应用兴起，大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast，解耦张量状态，复用管理能力，在多场景测试中表现出色，为大模型基建提供新范式。
让NCCL性能起飞的NCCL symmetric memory是啥黑科技？— part1
本文是NCCL 2.27新特性系列首篇，介绍symmetric memory。它类似NVSHMEM，现仅支持单节点通信，未来将支持跨节点。其低延迟内核能提升小数据通信性能，还介绍使用示例、CUDA内存管理及Symmetric Memory实现等内容。
直播实时离线翻译
传统离线翻译模型有延迟问题，GitHub上NoLanguageLeftWaiting开源项目把Meta的NLLB模型改造成实时同传模型，能边听边译，支持200种语言互译，还在开发推测解码功能提升速度。
GitHub Issues 大改造：用缓存和预取，让页面打开快了数倍
GitHub 重新设计 GitHub Issues 导航架构，通过客户端缓存、预测性预取等机制，提升导航性能，使即时导航体验比例从 4%增至 22%，解决大型 Web 应用常见的延迟问题。
The Batch: 977 | AI 对速度的需求为何如此迫切
开发者如今需更关注AI速度。OpenAI和Cerebras的Ultrafast、Google的Gemini 3.7 Flash、Nvidia的Nemotron 3.5 Lightning都主打速度。速度在AI领域对应延迟和吞吐量，影响应用体验和范围。
斩获4.1K star，再见tcpdump！这款开源神器让网络分析快如闪电！
Kyanos是基于eBPF技术的开源网络分析工具，能透视Linux内核网络活动，解决分布式系统网络难题。它零配置、有内核级透视和智能流量解密能力，功能丰富，应用场景广，相比同类优势明显。
阿里发布首个「音视频实时交互」模型，实现数字人实时视频聊天
阿里发布原生流媒体端到端模型Wan - Streamer v0.1，能实时聆听、观看、思考、说话和响应视频。它在单个Transformer内完成感知等操作，延迟低，具备端到端多模态统一、低延迟等特点。
Anthropic创始人盛赞Meta：开启广告基础设施「智能体进化」时代
Meta最新论文揭示基于树状思维链搜索的智能体框架，以“无人驾驶”方式重写广告系统底层内核，将内核开发时间从数周缩至数小时，生产环境性能最高提升17倍，Anthropic创始人高度评价。
世界模型炒作了半年，反应速度还不如 VLA？穆尧团队和百度智能云给出最新解法
生成式世界模型用于机器人控制备受争议，因其推理延迟高。上海交通大学 ScaleLab 团队等联合发布 AHA - WAM，解决推理延迟和时空分辨率错配问题，在任务成功率和推理速度上领先，还需系统协同推进落地。