搜索：全注意力模型

「全注意力模型」共找到 9042 篇相关文章

SSM+扩散模型，竟造出一种全新的「视频世界模型」

在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。

文章围绕本地大语言模型（LLM）展开，针对实用性和经济性问题，用Dell Precision 7960塔式工作站对主流模型测试。涉及不同尺寸模型、推理框架等，给出不同配置下性能指标及使用建议，还模拟真实场景测试。

文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。

12月16日，阿里发布通义万相2.6系列模型，5款新模型同时上线，覆盖图像到视频多环节。它是国内首个支持角色扮演的视频模型，功能比Sora2全，已上线阿里云百炼和万相官网。

本文报道1998年生的国内最年轻AI教授杨朔创立破晓智能，联合天珑移动发布全身全模态数据采集系统SeePhys Hub，填补现有具身智能数据采集的信息缺口，目标研发全模态世界模型。

ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。

ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。

本文介绍中国电信AI推出的全栈国产化轻量级代码智能体大模型Xing4.0-29B-A4B，该模型适配国产算力，4bit量化后单张RTX 3090即可本地部署，瞄准企业数据不出域的AI办公需求，现已开源上线。

小红书智创音频团队推出业内首个支持私有化部署的全双工大模型语音交互系统FireRedChat，可将半双工链路升级为全双工，提供级联与半级联服务，在多指标领先，让AI有“人感”。

来自多所顶尖科研机构的研究者完成长文综述，总结大语言模型全生命周期的强化学习研究，阐述其各阶段应用策略，分析未来挑战与趋势，重点关注 RLVR 技术，有全生命周期梳理等三大贡献。