「线性注意力机制」共找到 1036 篇相关文章
AGI只是硅谷的幻想？！AI科学家盛赞中国，并从物理学角度宣告我们永远造不出AGI
AI科学家Tim Dettmers在博客文章中指出，计算须遵循物理定律，线性进步要指数级资源，硬件升级红利已尽。他认为美国追求AGI和超级智能不切实际，中国重应用普及更务实，AGI难以实现。
直播预约 | Transformer 模型能否通过连接训练数据中的离散知识进行推理？
为研究Transformer是否具备组合式推理能力，提出FTCT合成任务。实验发现Few - shot CoT提示可激发推理能力，训练与测试相似度、模型复杂度影响推理能力。还分析了其内在机制，展示其泛化推理潜力。
研究者尝试揭示扩散模型创造力的起源
斯坦福大学研究人员 Mason Kamb 与 Surya Ganguli 在论文中提出解释扩散模型创造力的机制，指出其创造力是去噪生成图像时的确定性结果，还识别出关键偏置，搭建 ELS 机模型并验证其准确性。
加州理工用AI攻克量子化学60年难题，1块显卡做完7800块的活！
加州理工学院Anima Anandkumar团队8月24日发文，用AI模型将量子化学计算复杂度从立方级压到近线性级。单块GPU就能完成含82500个电子的金属缺陷模拟，而2019年同类计算用了约7800块GPU。
Meta首个Agent生图模型登场，空降竞技场第二
Meta超智能实验室推出图像生成模型Muse Image，引入智能体机制，能编写代码、网络搜索，有自主修正能力，支持算力扩展、多轮编辑与画面合成。还预览了Muse Video，两模型均与Meta产品深度整合。
32k微调处理百万Token：21倍的推理加速，10倍的峰值显存节省，实现恒定内存消耗
现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构，有双轨并行记忆系统，能恒定内存、线性时间处理文本，在基准测试超主流方法，实现21倍推理加速和10倍显存节省。
人形机器人控制新突破！敏捷稳定两不误，一个策略让人形机器人完成叶问蹲和跳舞｜港大&英伟达&清华
港大、NVIDIA和清华联合团队提出AMS统一人形机器人全身控制框架，首次在单一策略实现动态运动跟踪和极限平衡控制。通过异构数据源、混合奖励机制和自适应学习策略，解决数据限制和优化目标冲突问题。
QClaw V2 升级：微信里直接用的龙虾，真正走入你生活和工作的个人助理
3月8日QClaw发布后文章爆火，近期产品迭代快。QClaw V2引入Multi - Agent机制，可创建多角色AI助手并行工作，还能连接主流办公工具，集成龙虾管家保障安全，实测功能强大，优势明显。
地理学的AlphaEvolve？MIT斯坦福让AI自我生长、懂地理、懂世界
MIT和斯坦福学者提出GeoEvolve，把地理知识「嵌入」AI，让其成为能自主改进算法的科研合作者。它有双循环机制和四个核心模块，输入简单，开源为Python包，改进Kriging模型效果显著。
刚刚，马斯克开源基于 Grok 的 X 推荐算法：Transformer 接管亿级排序
X 工程团队宣布开源 X 推荐算法，该算法结合网络内外内容，用基于 Grok 的 Transformer 模型排名。马斯克曾在 2023 年开源部分算法，此次是近三年后再行动。算法开源或因平台此前分发机制受争议。