搜索：几何上下文注意力

「几何上下文注意力」共找到 899 篇相关文章

港大联合字节跳动提出JoVA: 一种基于联合自注意力的视频-音频联合生成模型

香港大学联合字节跳动提出视频 - 音频联合生成框架 JoVA，支持音视频 Token 跨模态交互，引入嘴部区域特定损失解决口型同步问题。实验显示，它用约 190 万条数据就达先进水平。

Jet - Nemotron是英伟达推出的小模型系列（2B/4B），由全华人团队打造。其提出PostNAS与JetBlock，实现架构优化。相比Qwen3等模型，它在多维度准确率更高，H100 GPU上推理吞吐量最高提升53倍。

在多模态大语言模型应用多元的当下，对模型理解人类意图需求迫切。阿里巴巴通义实验室团队推出HumanOmniV2，解决现有推理路径问题，其相关代码等开源，在多基准数据集成果突破性领先。

NVIDIA等团队提出视觉游戏学习ViGaL范式，让7B多模态模型玩贪吃蛇等游戏，使其在数学、几何等任务击败GPT - 4o。游戏培养通用认知与推理能力，不同游戏提升不同推理能力，多游戏训练效果更佳。

大语言模型推理速度是应用瓶颈，传统方法各有弊端。上交和UCSD团队提出Jacobi Forcing方案，无需重构架构，将AR模型转为并行解码器，提速显著且质量损失小，核心优势多，技术路线全链路优化，实测表现优。

文章参考ACE论文架构与提示词设计，实现可自我学习与进化的ACE智能体原型。介绍整体架构、各模块实现逻辑、工作流组装测试，也指出当前问题如LLM表现波动大等，并给出改进方向。

快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。

文章阐述了AI原生时代下，面向技术风险领域的智能体系统（DeRisk）的架构设计、核心理念等。介绍运维智能体发展现状，提出其技术演进需找三类Reward，还介绍相关概念、DeRisk架构，给出实践案例并将开源技术产品。

帝国理工学院博士后孙鹏飞和苏黎世联邦理工博士后苏哲及合作者，受大脑皮层机制启发，打造“双重记忆路径”类脑网络及配套芯片，处理语音识别任务时能效比此前优方案高5倍。相关论文发表在《自然·机器智能》且代码、设计全开源。

西交大陈泽伟、陈刚等人提出ViT - STFlowNet框架，用于可变形域非周期非定常流动预测。该框架融合自适应网格变换与ViT架构，克服传统方法局限，测试显示预测精度高、泛化能力好，为飞行器流场感知控制提供工具。