「超低延迟」共找到 3034 篇相关文章
阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。
让NCCL性能起飞的NCCL symmetric memory是啥黑科技？— part1
本文是NCCL 2.27新特性系列首篇，介绍symmetric memory。它类似NVSHMEM，现仅支持单节点通信，未来将支持跨节点。其低延迟内核能提升小数据通信性能，还介绍使用示例、CUDA内存管理及Symmetric Memory实现等内容。
蚂蚁投了一家具身智能公司，做手的
具身智能市场火热，灵心巧手完成数亿元天使轮融资，由蚂蚁集团领投。该公司成立于2019年，此前已有超亿元种子轮融资。其自研灵巧手技术强、成本低、销量高，应用广泛，未来将聚焦软硬件协同。
离谱……面壁让 AI 写了个训练框架，然后它自己训出了最强的 1B 模型：MiniCPM5-1B
面壁发布 1B 参数量级最强端侧文本大模型 MiniCPM5 - 1B，其 Base Model 由 AI 编写的训练框架 ForgeTrain 训出，速度超英伟达 Megatron 10%。该模型性能出色，部署门槛低，数据治理方案对应数据集也已开源。
Tair 短期记忆架构实践：淘宝闪购 AI Agent 的秒级响应记忆系统
本文从淘宝闪购与千问合作的‘一句话点外卖’项目出发，介绍 Tair 在 AI Agent 记忆管理中的数据模型设计、压缩策略与并发控制等关键实践，展示其在低延迟、数据建模、并发安全和弹性抗压等方面的能力。
AI圈再颠覆！中国AI翻译耳机通话翻译，实测震撼
科大讯飞发布全新AI翻译耳机，上海与迪拜连线对话实测表现震撼，响应延迟低至两秒。其集成“端到端语音同传”技术，采用“骨导+气导”设计。此外，翻译机2.0也升级，科大讯飞在AI翻译领域优势显著。
超越Claude 3.5和o1！8B模型靠「分层投票+测试时训练」逆袭
近日MIT研究者发现测试时训练在大模型应对复杂推理问题时，能分解任务提升回答准确率。8B的lemma3模型经此方法，在ARC和BBH数据集上性能显著提升，超Claude 3.5等。但该策略部署效率低。
Thinking Machines又发高质量博客：力推LoRA，不输全量微调
Thinking Machines 博客力推 LoRA 并与全量微调对比。研究发现小数据量任务中 LoRA 与全量微调效果接近，大数据量稍吃力，强化学习中低秩 LoRA 也能接近全量微调。还揭示了 LoRA 关键要素、超参数规律等。
人均「95后」，账上超十亿美金，MiniMax叩响港股大门
国内AI创业公司MiniMax在港交所刊发招股书，上市进入冲刺阶段。它以全模态技术和产品服务全球用户，营收增长快、亏损收窄，M2模型表现亮眼，且团队年轻高效，此次上市意义非凡。
AI+直播的新玩法! StreamDiffusionV2让创意零延迟
生成模型改变直播行业，但此前模型难保证时间一致性、有延迟等问题。加利福尼亚大学推出StreamDiffusionV2，通过智能调度和缓存机制优化，支持多GPU并行，可灵活调画质和延迟，实现实时直播。