质量 - 延迟权衡」共找到 878 篇相关文章

开源动态8

腾讯AngelSlim升级,首个集LLM、VLM及语音多模态为一体的投机采样训练框架,推理速度飙升1.8倍

随着大模型应用成本与延迟问题凸显,腾讯混元升级 AngelSlim 训练框架,将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍,还具全模态训练、面向部署等亮点,有开源代码。

机器之心
产品应用7

分钟级定位 IO 瓶颈:多租户云环境下的智能诊断

随着云上规模扩张,多租户云环境下 IO 请求量剧增,IO 问题排查难。阿里云操作系统控制台构建 IO 一键诊断能力,能快速识别问题类型、把握诊断时机、屏蔽复杂关联流程,还介绍了实现原理和案例。

阿里云开发者
开源动态8

斯坦福&SambaNova联手发布ACE框架:上下文即战力

文章介绍了斯坦福与SambaNova联手发布的ACE框架。它解决传统提示工程缺陷,将提示工程升级为智能体自我演化体系。通过“生成 - 反思 - 策展”闭环,实现上下文低成本、低延迟、高扩展演化,小模型搭配它能击败大模型+传统提示。

CourseAI
算法论文8

细节直逼亚毫米级!港科广分层建模突破3D人体生成|CVPR 2025

港科广团队提出MultiGO创新方案,借助分层建模思路突破3D人体生成难题。该方案通过三级几何学习框架提升重建质量,在多个测试集上性能领先,且在多领域有应用优势,研究成果入选CVPR 2025,项目代码将开源。

量子位
6

【哥飞分享】

Reddit新手如何通过一篇帖子狂赚2000+Karma?Reddit的公平性让新手也能获得曝光,选择合适的子社区和构建有趣的文案是关键。Reddit的流量分配机制让内容质量成为获得曝光的核心,而好的文案能规模化内容的曝光量。

哥飞
开源动态8

9.7K Star 把 AI 编码的 token 消耗砍了 16 倍

当前AI编码工具默认读取整个项目文件,token消耗高。code-review-graph项目用Tree-sitter解析代码库成图,追踪改动“爆炸半径”,平均省8.2倍token,技术轻量,还能做社区检测。它揭示AI编码瓶颈在信息输入质量

CourseAI
开源动态8

华人学生立大功!新王Mamba-3直击Transformer死穴,推理效率碾压7倍

新一代开源架构Mamba-3发布,由CMU普林斯顿原班人马打造,15亿参数性能比Transformer高4%,长序列任务端到端延迟仅为其七分之一。它采用新设计哲学,推理优先,有三大核心技术,还能与自注意力层混合提升检索能力。

新智元
推荐文章7

大模型最难的AI Infra,用Vibe Coding搞定

Andrej Karpathy 力荐的 Vibe Coding 在 AI Infra 开发中常「水土不服」,存在上下文丢失、决策偏离、质量不稳定等问题。文章提出文本驱动的 Vibe Coding 方法,并以 Agentic RL 中的资源调度系统为例验证其有效性,还介绍了相关团队和工具。

机器之心
开源动态7

1.5B参数!支持本地实时语音转录

Liquid AI发布首个端到端音频基础模型LFM2 - Audio - 1.5B,参数1.5B,能在本地设备处理高质量端到端音频任务。它是统一多模态模型,支持两种生成策略,多种应用场景,虽仅支持英文但性能出色。

AI工程化
产品应用8

揭秘!腾讯如何训练多智能体像专家一样设计游戏场景

腾讯游戏提出游戏场景自动布局生成系统IntelliScene 2.0,利用图像引导生成3D场景。它构建多智能体工作流,结合高质量数据集,经模型微调、视觉解析等步骤生成场景,经评估效果良好,为AI生成三维信息提供新路径。

腾讯技术工程