「混合线性注意力架构」共找到 469 篇相关文章
Transformer死角，只需500步后训练，循环模型突破256k长度泛化极限
线性循环模型能处理极长序列，是相比Transformer的关键优势，但过去循环模型性能不足且难以泛化。CMU等研究者证明，通过简单训练干预，循环模型500步后训练可突破256k长度泛化极限。
华为多路径推理破解大模型数学瓶颈，准确率超97%｜ICML 2025
大模型处理复杂问题常“翻车”，华为诺亚方舟实验室提出思维森林（FoT）框架，借鉴人类认知方式，打破线性推理范式。FoT在多个数学推理任务表现出色，准确率超先进模型，将在ICML 2025开源。
单目3DGS迎来突破：影石开源UniSHARP实现全相机适配
影石研究院发布单目新视角合成模型UniSHARP，可通过单次推理秒级获场景高斯点云，支持混合相机训练与免标定推理，适配所有相机。团队还构建数据集、设benchmark，代码等均已开源。
读完这篇，你就搞懂 DeepSeek v4 了
2026年4月24日，DeepSeek全新系列模型DeepSeek - V4预览版上线并开源，评分接近‘闭源三巨头’。该模型强在1.6T参数+1M上下文，还有从attention到kernel的系统级重构与优化，在架构和工程层面均有创新。
美团之后，京东也开始自研大模型了
京东发布JoyAI - LLM Flash模型，激活参数小、推理快。它采用混合专家架构等技术，在基础架构、数据加工、强化学习等方面表现出色，还通过多Token预测等技术加速推理，为商业场景落地扫清障碍。
从一行代码发现DeepSeek的秘密：Model1到底是什么？
在DeepSeek - R1发布一周年时，有人在GitHub的FlashMLA代码仓库发现神秘代号Model1，可能是V4。文章分析了代码仓库用途、新模型“露馅”原因，还从代码中发现Model1细节，结合论文梳理时间线，最后也提出了怀疑。
一个模型统一4D世界生成与重建，港科大One4D框架来了
港科大研究团队提出 One4D 框架，可统一 4D 生成与重建，构造同步输出多模态的视频扩散模型，支持多种任务形态。其有 DLC、UMC 等亮点，用合成与真实数据混合策略训练，实验表现佳。
NeurIPS 2025 | Code Graph Model：重塑代码大模型架构，利用“代码图”突破仓库级编程瓶颈
在 NeurIPS 2025 上，蚂蚁全模态代码算法团队展示「Code Graph Model (CGM)」，它将代码库图结构注入 LLM 底层注意力机制，打破业界刻板印象，在权威榜单上表现出色。文章解析其架构、训练策略和配套框架。
我MiniMax，用实习生处理数据，照样屠榜开源大模型
MiniMax M2屠榜开源大模型，引发社区热议。它在注意力机制、数据处理、思考模式上另辟蹊径，公开技术细节。M2团队选Full Attention，雇实习生处理数据，提出交错式思维链策略，强调实用性和泛化能力。
Cursor重大升级！发布2.0版本和首个自研AI编程模型，4倍速AI编程时代来了！
Cursor发布2.0版本和自研AI编程模型Composer。Composer是混合专家模型，速度比同等水平模型快4倍，多数任务30秒可完成。2.0版本新增多代理界面、内置浏览器等功能，降低使用门槛。