「约束注意力」共找到 334 篇相关文章
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
租了8张H100，他成功复现了DeepSeek的mHC，结果比官方报告更炸裂
元旦期间，DeepSeek发布的mHC震撼AI社区。FlowMode工程师Taylor Kolasinski租8张H100复现mHC，结果比官方报告更优。文章介绍复现实验，对比mHC、HC和标准残差结构，揭示超连接在规模化时的不稳定性及mHC的解决办法。
OpenAI、xAI打破硅谷铁律，AI人才年薪破亿成常态
硅谷的股权锁定期潜规则松动，OpenAI和xAI纷纷调整规则。Meta、Google等巨头不惜高薪挖人，人才争夺战激烈。这对稀缺人才是“零风险试用”，但多数职场人仍受规则约束，资本也无奈妥协。
翁荔陈丹琦加盟的840亿AI公司，公开第二篇论文
明星创业公司Thinking Machines公开第二篇研究论文，主题为“Modular Manifolds”，通过统一框架约束和优化网络不同层/模块，提升训练稳定性与效率。论文提出模块化流形思路，若应用于大模型，训练效率和稳定性将大幅提升。
OpenAI 开源模型泄露：六大技术细节
OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。
进攻是最好的防守：超级平台为何「不得不」对AI智能体出手？
上海交通大学团队提出，超级平台“必须”攻击AI智能体，以守住其作为数字流量守门人的地位。研究从守门人理论分析反击原因，还阐述平台应对策略、攻击策略特点约束，最后强调要推动建设性技术治理生态。
PITT | 提出PhyT2V框架：让文生视频（T2V）更符合物理规律（CVPR2025）
当前T2V技术迈向推理驱动阶段，物理规律是关键约束。匹兹堡大学团队提出PhyT2V框架，不依赖模型重训练或大规模外部数据，可增强主流T2V模型能力，有低落地门槛和良好泛化性。
完全相信 AI 代码的 Uncle Bob，坦诚这条路还没走通
在AI代码普及当下，Uncle Bob放弃人工评审代码，搭建管控框架引争议，Grady Booch反对，认为AI无法替代资深工程师。Uncle Bob设强约束体系，虽有成效但自动化架构规划未达理想，还给出开发建议。
从“会用”到“驾驭”：AI Coding 进入生产环境的真实碰撞
InfoQ《极客有约》X AICon 直播栏目，邀网易游戏林香鑫等探讨 Coding Agent 重构软件工程环节。嘉宾分享了 AI Coding 在生产环境的变化、MCP 等概念作用、代码质量保障、Agent 权限及 AI 原生研发体系建设等观点。
为什么HBM能摆脱传统周期？
当前市场对HBM和DRAM能否摆脱传统半导体周期性存争议。过去半导体周期由消费电子换机节奏驱动，而AI推理不同，大模型推理对内存依赖是硬约束，GPU更新对HBM需求几乎注定指数级增长。