搜索：实时流式交互

「实时流式交互」共找到 888 篇相关文章

谷歌向左、李飞飞往右，阿里世界模型「快乐生蚝」杀出第三条路

阿里推出世界模型HappyOyster（快乐生蚝），基于原生多模态架构，有漫游和导演两大核心功能，可实时构建和交互。与文生视频模型不同，它能随时被干预。虽世界模型尚处早期，但应用场景广泛。

RF-DETR在COCO数据集上，实时检测精度首破60 mAP，兼顾实时性与高精度。它通过NAS找到Transformer实时运行的‘最优解’，迭代快，适用于多场景，还给出完整实战教程。

文章提出用于实时交互式长视频生成的帧级自回归框架 LongLive，解决了长视频生成在效率和质量方面的挑战，具备长视频生成、实时推理、高效微调等亮点，还给出安装、推理、训练等步骤。

实时语音转文字难题待解，现有方案各有缺陷。WhisperLiveKit项目用前沿同步语音技术解决问题，支持多语言同步翻译、实时说话人识别等，还介绍了安装、部署方式，不过效果受语言和模型等因素影响。

Netflix分享Service Topology系统细节，它为数千微服务创建实时依赖关系图，合并三类数据源，近实时更新。开发动机源于工程支持请求常见问题，现有工具无统一视图。未来将加入部署和配置变更事件。

优步在Uber Eats推荐系统引入实时用户信号与Listwise排序法，用实时信号处理层替换早期特征流水线，还引入Listwise排序优化候选餐厅排序，降低特征漂移，保障系统性能。

传统扩散模型做视频生成速度慢、画面不稳定，难用于实时虚拟人场景。阿里Live Avatar框架将算法和系统一起设计，用TPP并行推理策略和RSFM机制等，5张H800 GPU能实现20 FPS高保真实时虚拟人生成。

NVIDIA 开源 Live VLM WebUI，可让用户在本地用摄像头实时测试视觉语言模型。它基于 WebRTC 技术，能将摄像头视频流实时传输给模型，分析结果叠加在画面上，支持多后端、多平台及多种模型。

Mirage是全球首个实时生成引擎，借助先进AI世界模型实现实时UGC玩法，支持多种游戏类型。与其他成果相比优势显著，由定制模型驱动，打破传统游戏边界，让玩家动态创造新体验。

蚂蚁集团旗下灵波科技开源具身智能模型及世界模型LingBot-World，它将视频生成模型进化成可交互世界模拟器，采用多阶段进化策略，有涌现记忆等能力，虽有不足，但为开源社区构建世界模型迈出坚实一步。