「延迟导入」共找到 230 篇相关文章
面壁小钢炮 VoxCPM-TTS：开源端到端 TTS，轻量高效低延迟
面壁提出基于扩散自回归建模的端到端语音生成模型 VoxCPM，构建于 MiniCPM - 4 之上。它克服传统离散 token 方法缺陷，实现语义与声学特征解耦，有上下文感知语音生成和零样本语音克隆能力，低延迟。
华为曝光两大黑科技！打破推理延迟魔咒，大模型从此「秒回」
华为通过FusionSpec和OptiQuant两大技术创新，对MoE模型进行推理优化。FusionSpec依托昇腾特点，将投机推理框架耗时降至1ms；OptiQuant支持灵活量化，为大模型推理提供高性价比。
北大联合阶跃星辰提出TensorCast：统一可编程管理大模型张量，推理「首字延迟」最高降低93.2%
随着模型规模增长、新应用兴起，大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast，解耦张量状态，复用管理能力，在多场景测试中表现出色，为大模型基建提供新范式。
直播实时离线翻译
传统离线翻译模型有延迟问题，GitHub上NoLanguageLeftWaiting开源项目把Meta的NLLB模型改造成实时同传模型，能边听边译，支持200种语言互译，还在开发推测解码功能提升速度。
GitHub Issues 大改造：用缓存和预取，让页面打开快了数倍
GitHub 重新设计 GitHub Issues 导航架构，通过客户端缓存、预测性预取等机制，提升导航性能，使即时导航体验比例从 4%增至 22%，解决大型 Web 应用常见的延迟问题。
The Batch: 977 | AI 对速度的需求为何如此迫切
开发者如今需更关注AI速度。OpenAI和Cerebras的Ultrafast、Google的Gemini 3.7 Flash、Nvidia的Nemotron 3.5 Lightning都主打速度。速度在AI领域对应延迟和吞吐量，影响应用体验和范围。
阿里发布首个「音视频实时交互」模型，实现数字人实时视频聊天
阿里发布原生流媒体端到端模型Wan - Streamer v0.1，能实时聆听、观看、思考、说话和响应视频。它在单个Transformer内完成感知等操作，延迟低，具备端到端多模态统一、低延迟等特点。
世界模型炒作了半年，反应速度还不如 VLA？穆尧团队和百度智能云给出最新解法
生成式世界模型用于机器人控制备受争议，因其推理延迟高。上海交通大学 ScaleLab 团队等联合发布 AHA - WAM，解决推理延迟和时空分辨率错配问题，在任务成功率和推理速度上领先，还需系统协同推进落地。
TreeHop：无需LLM的高效多跳问答新范式
多跳问答（MHQA）任务有挑战，现有方法依赖LLM，计算成本高、延迟显著。TreeHop研究提出新方案，摒弃LLM，通过嵌入空间动态更新，降低延迟、减少模型参数量，还在主流数据集表现佳，适合工业应用。
让大模型上车：理想汽车硬件协同设计算出最佳边缘模型
长三角洲AI实验室、中科院、理想汽车等找到大语言模型硬件协同设计寻优之路，在相同延迟下降低端侧模型困惑度，压缩模型架构挑选时间。研究揭示缩放定律，打造硬件感知建模框架，找到精度与延迟最优解。