搜索：实时通信框架

「实时通信框架」共找到 2039 篇相关文章

让VLM学会「心中有世界」：VAGEN用多轮RL把视觉智能变成「世界模型」推理机器

当前VLM智能体面对复杂视觉任务表现不佳，美国西北大学等机构联合研究成果VAGEN，提出创新强化学习框架，奖励正确思考过程，让VLM在行动前构建内部世界模型，效果超多款闭源大模型。

谷歌、英伟达等八大机构联手发布全球首款AI原生UGC游戏引擎Mirage，无预设关卡，一句话即生游戏。它以实时交互‘世界模型’为核心，玩家可随心创造，体验远超传统游戏。

阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。

来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。

现有医学多模态大模型在分割生物医学图像时存在瓶颈，浙大蔡钰祥教授、上海AI Lab江彦开等人提出IBISAgent框架，将分割定义为多步视觉决策过程，实验显示其在多数据集上大幅领先对比方法。

斯坦福IRIS实验室Yoonho Lee团队推出开源框架Meta - Harness，让AI自我优化流程。它像给AI用的‘时间机器’，记录源代码、执行轨迹和评估分数。在任务上表现出色，但也面临耗时、数据爆炸等挑战。

文章从CUDA基础讲起，以矩阵乘法为例介绍性能调优，再到PTX汇编知识，最后引入Neutrino框架构建可编程GPU性能探针。展示了GPU Kernel性能分析从宏观到微观的技术演进，提供新分析视角。

前OpenAI联合创始人Andrej Karpathy警示业界重视模型框架。Hugging Face实验表明优化模型外层执行机制可大幅提升Agent性能，Karpathy开源项目揭示AI价值在循环迭代。还介绍了搭建持续进化Agent的方法及注意事项。

在大模型应用开发中，科学、自动化评测 LLM 输出质量是难题，人工评测效率低。DeepEval 是 Confident AI 团队开源的 LLM 评测框架，能用极简代码让评测像写 pytest 一样自然，内置多种评测指标，支持批量评测等。

Odyssey公司推出世界模型Agora - 1，驱动网页版多人FPS游戏，无游戏引擎等，画面实时生成。该公司专注通用世界模型，此前业务转向主动交互，此成果解决多人游戏一致性难题，还发布多模态模型Starchild - 1。