「混合注意力」共找到 412 篇相关文章
用短视频成本生成长视频，字节Seed新注意力机制让计算量降低85%
字节Seed与斯坦福等机构推出新模型，其新注意力机制MoC能让长视频生成计算量降低85%，质量不减且保持连贯性。团队将视频生成定义为上下文检索任务，提出MoC机制并阐述实现方法。
腾讯混元推出首款开源混合推理模型：擅长Agent工具调用和长文理解
6月27日，腾讯混元开源首个混合推理MoE模型Hunyuan - A13B，参数80B激活仅13B，推理快性价比高。它在多测试集成绩好，尤其擅长Agent工具调用和长文理解，还开源两数据集填补评估空白。
代码检索新王登基！CodeFuse ｜ 开源C2LLM，用“注意力池化”刷新MTEB-Code榜单
蚂蚁集团与上海交通大学推出C2LLM系列模型，基于注意力创新池化机制解决代码表征痛点，登顶MTEB - Code榜单。作为CodeFuse Embedding开源家族成员，将全套回馈社区，为代码大模型研发提供基线。
腾讯混元TurboS技术报告首次全公开：560B参数混合Mamba架构，自适应长短链融合
腾讯公开混元TurboS技术报告，该模型是超大型Hybrid Transformer - Mamba架构MoE模型，融合Mamba与Transformer架构优势，有自适应长短思维链机制，激活参数56B。在多评测中表现佳，推理成本低。
腾讯混元 TurboS 技术报告首次全公开：560B 参数混合 Mamba 架构，自适应长短链融合
日前腾讯混元 TurboS 技术报告全公开。它是超大型 Hybrid Transformer - Mamba 架构 MoE 模型，有自适应长短思维链机制，总参 560B。在多榜单成绩亮眼，多语种和多任务处理能力强，还介绍了核心创新、训练策略等。
给GUI Agent装上「世界模型」：阿里通义用混合数据+统一思维链，让模型学会预判屏幕变化
伴随多模态大模型发展，GUI Agent成人机交互新范式，但构建高可用、跨平台的GUI Agent面临诸多挑战。阿里通义实验室开源Mobile - Agent - v3.5框架及GUI - Owl - 1.5模型家族，解决了相关技术壁垒。
开源RAG又添新军！港大开源多模态RAG神器，多文档格式统一解析、知识图谱索引与混合检索！
在AI信息检索领域，传统RAG系统难处理复杂文档。港大数据智能实验室开源RAG - Anything，可提供端到端解决方案，能多格式解析、构建知识图谱和混合检索，优势显著。
万亿思考模型新速度！蚂蚁开源Ring-2.5-1T：IMO金牌水平，强；混合线性架构，快！
蚂蚁集团发布全球首个开源混合线性架构万亿参数模型Ring - 2.5 - 1T，打破深度思考牺牲推理速度和显存的‘不可能三角’。还同期发布扩散语言模型LLaDA2.1和全模态大模型Ming - flash - omni - 2.0，想做成可复用底座。
AST | 西工大崔榕峰、张伟伟等：基于物理约束与双并行注意力UNet++的高保真度三维机翼流场重构研究
本文针对三维机翼流场重构难题，提出DPAtt - UNet++框架，融合几何隐式编码、多尺度注意力与物理规律约束。实验表明，其重构精度高，预测速度较CFD提升2 - 3个数量级，为飞行器气动分析提供新路径。
IEEE TAP|上海交通大学曹慧琳、南京大学任宇翔等：AI赋能电磁仿真：物理–数据混合驱动的PdEgatSCL模型实现高效建模
为实现电大尺寸目标快速精确建模，本文提出物理 - 数据混合驱动的PdEgatSCL方法，学习CFIE做端到端预测。用EGAT架构，编码格林函数等特征。测试显示它精度高、速度快、省内存，可加速电磁建模与逆向设计。