搜索：两阶段注意力机制

「两阶段注意力机制」共找到 1642 篇相关文章

半年复盘，AI迎来预训练后的新瓶颈。

2025年上半年AI领域发展加速，编码和多模态能力提升。但模型在综合能力上遇到第二轮瓶颈，编码能力强时通用认知能力‘拉胯’，或与RL阶段使用编程数据有关，红杉新基准或推动模型均衡发展。

中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。

匹兹堡大学团队提出 PhyT2V 框架，论文已被 CVPR 2025 接收。该框架不依赖重训练或大量外部数据，通过链式推理与迭代修正机制，增强主流 T2V 模型物理场景泛化与生成能力，应用前景广。

这一年AI在各领域发展迅猛，影响产业与社会底层逻辑。在此背景下，Founder Park发起调研，面向AI领域企业，聚焦AGI产业各层，从多维度评选50家创新机构，公布了各阶段时间安排。

清华大学和快手可灵团队推出DiffMoE，通过创新的动态token选择机制和全局token池设计，拓展了扩散模型的效率与性能边界。实验表明，DiffMoE在多方面超越现有模型，未来集成先进技术或有新增益。

阿尔伯塔大学强化学习团队提出FAME框架，解决持续强化学习“学新忘旧”问题。团队先定义基础概念，将知识整合写成优化问题，再受人类学习机制启发设计FAME，实验优势明显。研究还探讨持续学习的产业价值。

文章是对港理工吕佳欣的访谈，围绕多筒挤压技术展开，探讨从实验室到产业化的过程、挑战及应对方法，还提及工业AI在制造领域的应用，如数据处理、经验转化等，强调科研与工程相互促进。

在复杂视觉场景中，传统RGB - IR多模态检测方法在低照度等场景下因RGB退化影响检测效果。北航等团队提出的InfraNet，以红外为主，用质量感知机制控制RGB引导，在多数据集取得强竞争力结果。

Meta 近日开源非侵入式脑机接口系统 Brain2Qwerty v2，能将人脑想法解码为完整语句，平均单词识别准确率达 61%，远超其他非侵入式方案。其采用三阶段深度学习模型，代码和训练数据已公开。

高考放榜，媒体对国内外大模型进行测试。综合成绩上，讯飞星火X2物理、历史类表现优异；单科专项中，它在数学、作文等测试也领先。其优势源于数据积累、理解评判标准，还采取软硬件一体化落地路径。