「内核延迟」共找到 291 篇相关文章
jiSGLang集成ktransformers：2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户，SGLang集成ktransformers的CPU内核，支持直接运行Kimi K2 Thinking模型。它无需等量化，还能微调，虽性能与GPU方案有差距，但给用户新选择。
单张4090跑到30fps，范浩强团队让VLA实时跑起来了
Dexmal原力灵机团队在RT - VLA论文中公布，常用Pi0级30亿参数VLA模型在单张RTX 4090上最快能跑30fps。他们深入分析优化模型，成果已开源，还设计了未来控制框架。
Meta最新REFRAG框架引爆RAG圈！KV缓存暴降90%，速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示，它降低KV缓存、加速TTFT，在多任务表现佳，为大模型与知识库结合提供新范式。
港科联合港中文提出AdaCtrl，自适应可控Reasoning，可降10~90%
港科联合港中文提出AdaCtrl，解决LLM推理的过度思考、算力浪费和响应延迟问题。它有自适应和用户控制两种模式，通过两阶段训练法实现目标，实验效果好，未来或拓展到多领域。
抢疯了！AI宠物翻译器：800多块，预售2万单
PettiChat宠物翻译器售价800多，预售2万单。它能将猫狗叫声转成句子，翻译延迟1.2秒，还具备位置追踪、安全警报和声音克隆功能。其靠大模型的声音识别和情绪推理系统实现翻译。
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。
AI 互动游戏的 GPT 时刻到了！谷歌Genie 3首测！太牛了！
谷歌去年发布世界模型Genie 3，支持实时生成可交互视频内容，因成本高未开放。现美国18岁以上Ultra用户可试玩，其操控延迟低、画面清晰、物理交互真实，还介绍了操作流程等。
SGLang 优化Triton FusedMoE 的一个新技巧
蚂蚁在SGLang中提交优化PR，针对Fused Triton MoE的Down Projection kernel加入TMA优化，在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著，还详细分析了优化背景、思路、实现细节及测试结果。
超越免训练剪枝：LightVLA引入可微分token剪枝，首次实现VLA模型性能和效率的双重突破
文章介绍LightVLA框架，它是用于提升VLA推理效率和性能的视觉token剪枝框架。针对VLA模型计算开销大、推理延迟高问题，提出两大创新，在LIBERO实验中性能超经典模型，还实现推理加速。
WWW时间检验奖颁给唐建博士：图神经网络的十年远征与AI制药的底层逻辑
7月1日唐建博士2015年论文获WWW时间检验奖。其成果支撑多时代发展，延至BIO AI领域。百奥几何依托技术内核发展，GeoFlow历经三代跃迁，在多地实现成果落地，成国内AI制药领跑者。