「滑窗线性注意力」共找到 278 篇相关文章
我MiniMax，用实习生处理数据，照样屠榜开源大模型
MiniMax M2屠榜开源大模型，引发社区热议。它在注意力机制、数据处理、思考模式上另辟蹊径，公开技术细节。M2团队选Full Attention，雇实习生处理数据，提出交错式思维链策略，强调实用性和泛化能力。
EMNLP 2025 | 动态压缩CoT推理新方法LightThinker来了
随着AI发展，大语言模型处理复杂推理任务能力提升，但推理产生大量中间步骤和文本，拖慢计算速度、增加资源压力。研究者提出LightThinker，模仿人类思考模式，动态压缩推理步骤，削减tokens数量，降低成本。
谷歌大脑之父首次坦白！茶水间闲聊引爆万亿帝国，AI自我突破触及门槛
AI界传奇Jeff Dean在「登月播客」深度访谈中，回顾个人成长、Google Brain早期故事及AI未来思考。他揭秘诸多细节，还谈到神经网络发展、注意力机制突破、LLM可解释性等内容，也提及未来五年规划。
不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。
这种“半光半物质”粒子，有望补上AI光计算最后一块拼图
宾大物理学家 Bo Zhen 团队造出激子－极化激元，用约 4 飞焦能量完成光信号全光开关切换。光子计算在非线性环节依赖电子器件，该成果有望补上缺失环节，但距商用还有关卡。
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
OpenAI 开源模型泄露：六大技术细节
OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。
阿里Qwen3.5小模型发布：0.8B参数就能处理视频，边缘AI时代真的来了
阿里通义千问发布Qwen3.5系列四款小模型，采用Gated DeltaNet混合注意力机制。有原生多模态设计，解决“内存墙”问题。在多基准测试中表现出色，开发者反响好，但也存在幻觉级联、调试局限等问题。
视听分离SOTA提速6倍！清华发布首个6M高性能模型｜ICLR'26
清华大学团队推出Dolphin模型，仅用6M参数，通过离散化视觉编码和热扩散注意力机制，实现单次推理精准分离语音，速度提升6倍以上，在多项基准测试中刷新纪录，为端侧设备部署开辟新路。
OpenAI发布GPT-5.1 Codex Max，编程能力比Gemini 3更强、更持久
为换回注意力，OpenAI紧急发布GPT - 5.1 Codex Max。它在编程测试中表现优于Gemini 3 Pro，还实现24小时项目级开发。引入自动压缩与扩展推理改进，效率提升，现已多途径可用，API访问将开放。