「音视频实时交互模型」共找到 1736 篇相关文章
单张4090跑到30fps，范浩强团队让VLA实时跑起来了
Dexmal原力灵机团队在RT - VLA论文中公布，常用Pi0级30亿参数VLA模型在单张RTX 4090上最快能跑30fps。他们深入分析优化模型，成果已开源，还设计了未来控制框架。
3D-R1重塑三维视觉语言推理！让三维交互更智能
近年来，视觉 - 语言模型在2D图像理解有突破，但3D视觉语言模型面对复杂场景不足。为此上海大学团队提出3D - R1模型，它基于新数据集和策略构建，有强多任务三维理解能力，不过也存在进步空间。
让小爱音箱超越「指令-响应」模式，开启真正智能交互新时代
2017年智能音箱诞生，却被困于「指令 - 响应」模式。此次Open - XiaoAI进化，接管小爱音箱“耳朵”和“嘴巴”，通过多模态大模型和AI Agent释放其潜力，还给出项目运行教程等。
爆肝一周看6小时长视频，解读AI时代程序员价值几何
作者花一周看完Lex Fridman对丹麦传奇程序员DHH的6小时访谈。DHH分享编程经历，谈对流行技术看法，认为AI不能取代人类创造力，还谈及创业、开源等观点，展现深刻认知与独特态度。
打破长视频理解瓶颈：HoPE混合位置编码提升VLM长度泛化能力
如今视觉语言模型在长上下文任务表现不佳，CMU和小红书团队深入研究，首次提出多模态RoPE扩展策略理论评估框架，指出现有泛化能力不足原因，提出HoPE大幅提升VLM长度泛化能力。
基于Agent的SGLang Diffusion Kernel优化实践：Qwen-Image、FLUX.2和视频模型
本文记录基于Agent完成Qwen-Image、FLUX.2、Wan和SANA Video优化的过程，包括定位问题、写Kernel及遇到的坑。介绍SGLang Diffusion Kernel结构，分析数值敏感原因，展示各模型优化实践、无收益实验及验证流程。
清华朱军团队Nature Machine Intelligence：多模态扩散模型实现心血管信号实时全面监测
清华朱军等团队提出多模态生成框架 UniCardio，在单扩散模型中实现心血管信号去噪、插补与跨模态生成。它采用扩散模型和 Transformer 架构，结合持续学习范式，实验表现优，有望用于多领域。
开源AI真人级互动老师，多Agent+可视化画布，函数/思维导图实时作图！
本文介绍开源项目ChatTutor，它是可视化互动式AI老师，能边说边画。有数学画布、思维导图等功能，未来将支持代码、物理等画布，可用于解题、备课等，已上线chattutor.app。
“AI版LeCun”自己讲解论文，自我进化智能体框架生成精美演讲视频
加州大学研究者提出自我进化的学术演讲智能体框架EvoPresent，它由四个智能体协作，核心美学模型PresAesth模拟人类审美判断。团队构建评测体系，实验显示其在内容与视觉设计上提升显著，让AI兼顾逻辑与美感。
NeurIPS Spotlight｜运动遮挡都不怕，0先验、一段视频精准预测相机参数
论文一作李放等为解决传统方法在动态场景预测相机参数的难题，提出 ROS - Cam 方法，涵盖补丁式跟踪滤波器、异常值感知联合优化、双阶段训练策略，代码即将开源。