「混合注意力」共找到 412 篇相关文章
AI精准编辑门槛大降：开源框架提升编辑一致性，即插即用
近日，中山大学、香港中文大学等团队发布研究成果ProEdit。它通过对注意力机制和初始噪声潜在分布处理，实现高精度图像与视频编辑，无需训练、即插即用，解决编辑效果与一致性平衡难题。
中国科学SCPMA | 南科大王建春团队：基于改进隐式轴向分解Transformer的三维槽道湍流快速预测
南科大王建春团队改进IFactFormer模型，采用“并行”轴向分解注意力机制，提升在复杂流动问题中的表征能力和稳定性。实验显示，改进模型拟合与长期预测能力强，多数指标精度优于传统方法。
太巅了！MIT老哥在Transformer里造了台计算机，LLM从此不需要调用外部工具？
LLM在数学推理表现佳，但纯计算是短板。MIT的Christos Tzamos团队在Transformer内造计算机，实现WebAssembly解释器，解决数独难题，还突破注意力机制瓶颈，打开软件与神经网络新接口。
SkyReels-Audio让嘴型和音频完美匹配不再难
音频驱动的动态人脸生成研究较少，昆仑万维提出SkyReels - Audio框架，基于预训练视频扩散变换器构建，支持无限长度视频生成与编辑，采用混合课程学习等策略，保障视频视觉保真度和时间一致性。
刚刚，DeepSeek官宣V3.1发布，Agent 能力较大提升
DeepSeek官宣V3.1发布，核心特性有混合推理架构、思考效率提升、Agent能力增强。产品形态含官方App/网页端和API升级。性能在编程、搜索智能体及思考效率上显著提升。
软体机器人控制难题获解，比传统方法节能75倍，还能闭眼干活
美国两校研究人员结合生物学与人工智能工程学，用‘神经储备池’技术控制生物混合软手臂，实现稳定追踪、自我感知和低能耗运行，还在多方面展现优势，目前研究处于仿真阶段。
刚刚，DeepSeek开源OCR 2，首创Qwen编码的「双流架构」
年底 DeepSeek 开源新模型 DeepSeek - OCR 2，首创双流注意力架构，model&paper 一同发布。它重构视觉编码器，采用三阶段训练流程，在 OmniDocBench v1.5 评测及生产环境验证中表现良好。
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。
一块画板，Nano Banana，无限创意：谷歌新工具实测
谷歌Labs推出AI概念板Mixboard，由Nano Banana图像模型驱动，整合Gemini 2.5 Flash模型。可上传个人图像混合编辑，适合设计师等。现仅在美国公开测试，速度快，操作便捷，能高效验证想法。